L'IA identifie la nouveauté scientifique

Le concours était organisé par la Metascience Unit (UKRI) du Royaume-Uni en collaboration avec des partenaires internationaux. L’objectif était de développer une méthode évolutive permettant d’évaluer le caractère novateur des articles de recherche au moment de leur publication.

À cette fin, les organisateurs ont fourni un ensemble de données comprenant 100 000 publications scientifiques récentes. Des experts des disciplines concernées ont évalué leur caractère novateur indépendamment les uns des autres. La tâche des équipes participantes consistait à prédire ces jugements d’experts aussi précisément que possible – sans connaître les évaluations.

L'approche de Jülich a obtenu les meilleurs résultats pour tous les critères d'évaluation.

« Jusqu’à présent, la capacité à évaluer ce qui est véritablement novateur et précieux dans un article scientifique était réservée aux experts humains », explique le Dr.-Ing. Jann Michael Weinand, directeur du département des scénarios intégrés à l’Institut des systèmes climatiques et énergétiques – Analyse des systèmes de Jülich (ICE-2). « Notre approche montre que les systèmes d’IA modernes peuvent accomplir cette tâche avec une fiabilité étonnante. »

L'IA analyse le contenu plutôt que le nombre de citations

Contrairement à de nombreux indicateurs de recherche établis, le système de Jülich n’évalue pas la fréquence à laquelle un article est cité par la suite. « Les métadonnées ne suffisent pas pour évaluer la nouveauté au moment de la publication. Notre système examine donc le contenu d’une étude et le met en relation avec l’état des connaissances au moment de sa publication », explique le chef de projet Jan Göpfert, également de l’ICE-2, qui a développé cette approche avec son collègue Samuel Kieling.

Pour ce faire, le système analyse d’abord l’étude elle-même ainsi que certains articles scientifiques auxquels elle fait référence. Sur cette base, l’IA reconstitue l’état des connaissances au moment de la publication, y compris les lacunes connues dans la recherche. Elle évalue ensuite la contribution apportée par la nouvelle étude. Introduit-elle une nouvelle méthode ? Donne-t-elle des résultats surprenants ? Résout-elle un problème jusque-là non résolu ? Ce faisant, le système recueille délibérément des arguments pour et contre la nouveauté d’un article et les met en balance.

Au final, l’IA attribue un score de nouveauté compris entre 0 et 100. Elle fournit également un intervalle indiquant le degré de confiance du modèle dans son évaluation. Une justification écrite détaillée rend ensuite l’évaluation transparente. « Le plus grand défi a été de définir la nouveauté de manière pertinente. Pour nous, la nouveauté ne signifie pas simplement la dissemblance. Ce qui compte, c’est la contribution d’un travail au progrès scientifique », explique Kieling.

Une visibilité plus précoce pour les recherches importantes

Le nombre de publications scientifiques continue de croître rapidement. Parallèlement, un nombre croissant d’articles est produit à l’aide d’outils d’IA. Il devient donc de plus en plus difficile pour les chercheurs, les revues universitaires et les organismes de financement d’identifier à un stade précoce les contributions particulièrement pertinentes.

C’est là que l’indicateur de nouveauté pourrait s’avérer utile à l’avenir. Les recherches présentant un potentiel particulièrement élevé de générer de nouvelles perspectives pourraient être identifiées lors du processus d’évaluation par les pairs ou de publication – plutôt que seulement des années plus tard, lorsque leur importance devient évidente à travers les indicateurs de citation.

« Nous espérons que cela profitera en particulier aux recherches souvent négligées par les indicateurs traditionnels », explique M. Kieling. « Notre objectif n’est pas de remplacer le jugement humain. L’IA devrait plutôt aider à attirer l’attention sur des recherches potentiellement importantes et à prendre des décisions mieux informées. »

De plus, l’indicateur de nouveauté ouvre de nouvelles perspectives pour la métascience, c’est-à-dire l’étude scientifique du système de recherche lui-même.

Le prix permet de poursuivre le développement

Grâce au prix de 300 000 livres sterling, l’équipe a l’intention de perfectionner le prototype existant pour en faire un outil scientifique fiable. L’indicateur de nouveauté se veut transparent, résistant à la manipulation et ne doit pas aggraver les inégalités existantes au sein du système scientifique.

À long terme, les chercheurs envisagent des applications bien au-delà des publications scientifiques – par exemple, dans le contexte des brevets ou de l’identification de nouvelles questions et hypothèses de recherche prometteuses. « Dans le même temps, cette évolution soulève des questions fondamentales : quel rôle l’IA devrait-elle jouer à l’avenir dans la prise de décision scientifique ? Et comment pouvons-nous garantir que l’évaluation et les progrès scientifiques restent transparents et traçables ? », s’interroge Göpfert.

Les travaux des chercheurs de Jülich démontrent que l’IA est désormais capable de bien plus que d’analyser des données ou de résumer des textes. Elle est de plus en plus capable d’évaluer la recherche scientifique elle-même, ouvrant ainsi de nouvelles perspectives pour la science de demain.