L'intelligence artificielle dans la chimie moderne : comparaison entre l'homme et la machine
"Les possibilités offertes par l'intelligence artificielle dans le domaine de la chimie suscitent un intérêt croissant. Nous avons donc voulu déterminer la qualité réelle de ces modèles
Une étude récente menée par des chercheurs de l'université Friedrich Schiller d'Iéna s'est penchée sur la puissance des modèles d'IA modernes tels que GPT-4 en chimie et sur leurs performances par rapport aux experts humains. À l'aide d'une nouvelle méthode de test appelée "ChemBench", l'équipe dirigée par le Dr Kevin M. Jablonka a pu montrer que les modèles d'IA sont convaincants dans certains domaines de travail, mais qu'ils présentent également des faiblesses évidentes. L'équipe publie ses conclusions dans la revue scientifique "Nature Chemistry".
"Les possibilités offertes par l'intelligence artificielle dans le domaine de la chimie suscitent un intérêt croissant. Nous avons donc voulu déterminer la qualité réelle de ces modèles", explique M. Jablonka, directeur du groupe de recherche junior "Polymères dans les applications énergétiques" de la fondation Carl Zeiss à l'université Friedrich Schiller d'Iéna et à l'institut Helmholtz pour les polymères dans les applications énergétiques (HIPOLE) d'Iéna. Au centre de l'étude, "ChemBench", un outil développé par les chercheurs, a été comparé aux compétences des chimistes.
Plus de 2 700 tâches comparées entre humains et machines
Pour tester les capacités de l'IA, l'équipe de l'université d'Iéna a mis au point une procédure de test spéciale qui utilise des tâches réelles rencontrées dans la chimie moderne. Plus de 2 700 questions portant sur différents domaines de la chimie - de la chimie organique à la chimie analytique - ont été intégrées dans l'outil "ChemBench". Elles couvrent à la fois les connaissances de base et les problèmes difficiles et sont basées sur des programmes d'études typiques en chimie. Les performances des modèles d'IA ont été comparées à celles de 19 experts expérimentés travaillant sur les mêmes tâches.
Alors que les humains étaient autorisés à utiliser des aides telles que Google ou des programmes chimiques pour une partie de l'étude, les modèles d'IA ont dû se débrouiller sans ces ressources externes. "Les modèles ont donc pu tirer leurs connaissances exclusivement de l'entraînement avec des données existantes", explique M. Jablonka. "Nous avons également testé deux agents d'IA ayant accès à des outils externes, mais ils n'ont pas pu suivre les meilleurs modèles", ajoute le chimiste. Outre l'exactitude des réponses, les chercheurs ont également évalué la fiabilité des réponses de l'IA.
L'IA est plus rapide et plus efficace, les humains sont plus réfléchis et autocritiques
Les résultats de l'étude sont mitigés, rapporte M. Jablonka : "Même pour des questions très exigeantes de type manuel, certains modèles d'IA se sont révélés plus efficaces que les humains." Cependant, alors que les chimistes admettaient ouvertement dans certains cas qu'ils ne pouvaient pas répondre avec certitude à une question, les meilleurs modèles d'IA montraient une tendance inverse : ils donnaient souvent des réponses avec une grande confiance, même si le contenu était incorrect.
"Des réponses incorrectes avec une grande conviction peuvent conduire à des problèmes"
"Ce phénomène était particulièrement visible dans les questions portant sur l'interprétation des structures chimiques, telles que la prédiction des spectres RMN", explique M. Jablonka. Dans ce cas, les modèles semblaient fournir des réponses claires, même s'ils commettaient parfois des erreurs fondamentales. Les experts humains, en revanche, hésitaient plus souvent et remettaient en question leurs propres conclusions. "Cette divergence est un facteur décisif pour l'applicabilité pratique de l'IA en chimie", explique Jablonka : "Un modèle qui fournit des réponses incorrectes avec une grande conviction peut entraîner des problèmes dans des domaines de recherche sensibles."
"Notre recherche montre que l'IA peut être un complément important à l'expertise humaine - non pas pour la remplacer, mais comme un outil précieux qui soutient le travail", résume Kevin Jablonka. "Notre étude jette ainsi les bases d'une collaboration plus étroite entre l'IA et l'expertise humaine en chimie."
Note: Cet article a été traduit à l'aide d'un système informatique sans intervention humaine. LUMITOS propose ces traductions automatiques pour présenter un plus large éventail d'actualités. Comme cet article a été traduit avec traduction automatique, il est possible qu'il contienne des erreurs de vocabulaire, de syntaxe ou de grammaire. L'article original dans Anglais peut être trouvé ici.
Publication originale
Adrian Mirza, Nawaf Alampara, Sreekanth Kunchapu, Martiño Ríos-García, Benedict Emoekabu, Aswanth Krishnan, Tanya Gupta, Mara Schilling-Wilhelmi, ... Johanna Schreiber, Ulrich S. Schubert, Leanne M. Stafast, A. D. Dinga Wonanke, Michael Pieler, Philippe Schwaller, Kevin Maik Jablonka; "A framework for evaluating the chemical knowledge and reasoning abilities of large language models against the expertise of chemists"; Nature Chemistry, 2025-5-20
Autres actualités du département science
