Les limites de l'IA dans la science des matériaux
Des chercheurs de l'Université Friedrich-Schiller d'Iéna mettent en évidence les forces et les faiblesses des modèles langue-image dans les tâches scientifiques
Les modèles d'images vocales actuels basés sur l'IA peuvent très bien percevoir les contenus, mais ils atteignent leurs limites lorsqu'il s'agit de processus scientifiques complexes. C'est ce que montre une étude récente menée par des chercheurs de l'Université Friedrich Schiller de Iéna en collaboration avec des partenaires internationaux. Dans ce travail, les chercheurs ont examiné pour la première fois de manière systématique la capacité des modèles d'IA modernes à traiter des informations visuelles et textuelles dans le domaine de la chimie et de la science des matériaux.
Une méthode d'évaluation innovante pour l'IA
"Notre étude résout un problème dans la recherche en IA : comment évaluer équitablement des systèmes multimodaux lorsqu'il n'est pas clair quelles données les modèles ont déjà vues lors de l'entraînement ?", explique le Dr Kevin Maik Jablonka, responsable d'un groupe de jeunes chercheurs de la fondation Carl Zeiss à l'université Friedrich Schiller d'Iéna et à l'Institut Helmholtz pour les polymères dans les applications énergétiques (HIPOLE) d'Iéna, à propos de cette innovation méthodologique. La procédure d'évaluation développée permet pour la première fois d'analyser systématiquement les forces et les faiblesses des systèmes d'IA actuels dans les applications scientifiques.
"Les systèmes d'IA multimodaux, capables de comprendre aussi bien des textes que des images, sont considérés comme l'avenir des systèmes d'assistance scientifique", explique Jablonka. "Nous voulions savoir si ces modèles avaient vraiment le potentiel d'aider les chercheurs dans leur travail quotidien - de l'analyse de la littérature à l'analyse des données".
Plus d'un millier de tâches issues du quotidien scientifique
Pour tester les capacités de l'IA multimodale, l'équipe internationale a développé la méthode d'évaluation "MaCBench" (https://macbench.lamalab.org), qui comprend plus de 1100 tâches réalistes dans trois domaines centraux du travail scientifique : l'extraction de données de la littérature, la compréhension d'expériences de laboratoire et de simulation et l'interprétation de résultats de mesure. Les tests comprenaient des tâches allant de l'analyse de données de spectroscopie à l'interprétation de structures cristallines, en passant par l'évaluation de la sécurité en laboratoire.
L'équipe a examiné les principaux modèles d'IA pour déterminer leur capacité à comprendre et à relier les informations scientifiques. "Contrairement aux modèles purement textuels, ces systèmes doivent être capables de traiter simultanément des informations visuelles et textuelles - une capacité essentielle pour le travail scientifique", explique Jablonka.
Succès pour les tâches simples, faiblesses pour la pensée complexe
Les résultats de l'étude présentée maintenant montrent une image différenciée : Alors que les modèles d'IA reconnaissaient de manière fiable les appareils de laboratoire ou extrayaient presque sans erreur des données standardisées, des faiblesses fondamentales apparaissaient dans les analyses spatiales et la mise en relation de différentes sources d'information. "Il était particulièrement frappant de constater que les mêmes informations étaient nettement mieux traitées par les modèles lorsqu'elles étaient présentées sous forme de texte plutôt que d'image", rapporte Jablonka. "Cela indique que l'intégration de différents types de données ne fonctionne pas encore de manière optimale".
La découverte que la performance des modèles était fortement corrélée à la fréquence des matériaux de test sur Internet a également été frappante. "Cela laisse supposer que les modèles s'appuient en partie sur la reconnaissance de formes à partir de données d'entraînement, plutôt que de développer une véritable compréhension scientifique", poursuit le chercheur.
Des bases pour de meilleurs systèmes d'assistance IA
Ces connaissances peuvent être utiles pour le développement de futurs assistants scientifiques d'IA : "Avant que ces systèmes puissent être utilisés de manière fiable dans la recherche, leur perception spatiale et la mise en relation de différents types d'informations doivent être fondamentalement améliorées", résume Jablonka. "Notre travail propose des pistes concrètes pour relever ces défis et améliorer les outils d'IA pour les sciences naturelles".
Note: Cet article a été traduit à l'aide d'un système informatique sans intervention humaine. LUMITOS propose ces traductions automatiques pour présenter un plus large éventail d'actualités. Comme cet article a été traduit avec traduction automatique, il est possible qu'il contienne des erreurs de vocabulaire, de syntaxe ou de grammaire. L'article original dans Allemand peut être trouvé ici.
Publication originale
Autres actualités du département science
