L'intelligenza artificiale individua la novità scientifica
Il team di Jülich vince una sfida internazionale
Annunci
Un gruppo di ricerca del Forschungszentrum Jülich ha vinto la competizione internazionale “Metascience Novelty Indicators Challenge”. Gli scienziati del dipartimento di Analisi dei Sistemi di Jülich hanno sviluppato un metodo che consente all’intelligenza artificiale di valutare la novità delle pubblicazioni scientifiche – in altre parole, la misura in cui uno studio fa progredire la conoscenza scientifica. Per il successo ottenuto, al team è stato assegnato un premio in denaro di 300.000 sterline per sviluppare ulteriormente il metodo.
La sfida è stata organizzata dalla UK Metascience Unit (UKRI) in collaborazione con partner internazionali. L'obiettivo era quello di sviluppare un metodo scalabile per valutare la novità degli articoli di ricerca al momento della loro pubblicazione.
A tal fine, gli organizzatori hanno fornito un set di dati composto da 100.000 pubblicazioni scientifiche recenti. Esperti delle rispettive discipline ne hanno valutato la novità in modo indipendente gli uni dagli altri. Il compito dei team partecipanti era quello di prevedere questi giudizi degli esperti nel modo più accurato possibile, senza conoscere le valutazioni.
L'approccio di Jülich ha ottenuto i migliori risultati in tutti i criteri di valutazione.
"Fino ad ora, la capacità di valutare ciò che è veramente nuovo e prezioso in un articolo scientifico è stata limitata agli esperti umani", afferma il Dr.-Ing. Jann Michael Weinand, capo del dipartimento Scenari integrati presso l'Istituto per i sistemi climatici ed energetici – Analisi dei sistemi di Jülich (ICE-2). “Il nostro approccio dimostra che i moderni sistemi di IA possono supportare questo compito con una affidabilità sorprendente.”
L'IA analizza i contenuti piuttosto che il numero di citazioni
A differenza di molti parametri di ricerca consolidati, il sistema di Jülich non valuta la frequenza con cui un articolo viene citato in seguito. «I metadati non sono sufficienti per valutare la novità al momento della pubblicazione. Il nostro sistema esamina quindi il contenuto di uno studio e lo mette in relazione con lo stato delle conoscenze al momento della sua pubblicazione», afferma il responsabile del progetto Jan Göpfert, anch’egli dell’ICE-2, che ha sviluppato l’approccio insieme al collega Samuel Kieling.
Per farlo, il sistema analizza innanzitutto lo studio stesso e alcuni articoli scientifici selezionati a cui fa riferimento. Su questa base, l’IA ricostruisce lo stato delle conoscenze al momento della pubblicazione, comprese le lacune note nella ricerca. Valuta quindi il contributo apportato dal nuovo studio. Introduce un nuovo metodo? Fornisce risultati sorprendenti? Risolve un problema precedentemente irrisolto? Nel farlo, il sistema raccoglie deliberatamente argomenti sia a favore che contro la novità di un articolo e li mette a confronto.
Alla fine, l'IA assegna un punteggio di novità compreso tra 0 e 100. Fornisce inoltre un intervallo che indica il grado di confidenza del modello nella sua valutazione. Una giustificazione scritta dettagliata rende poi trasparente la valutazione. "La sfida più grande è stata definire la novità in modo significativo. Per noi, novità non significa semplicemente diversità. Ciò che conta è il contributo di un lavoro al progresso scientifico", afferma Kieling.
Visibilità anticipata per la ricerca importante
Il numero di pubblicazioni scientifiche continua a crescere rapidamente. Allo stesso tempo, un numero crescente di articoli viene prodotto con l’aiuto di strumenti di IA. Ciò rende sempre più difficile per ricercatori, riviste accademiche e organizzazioni di finanziamento identificare contributi particolarmente rilevanti in una fase precoce.
È qui che l’indicatore di novità potrebbe essere d’aiuto in futuro. La ricerca con un potenziale particolarmente elevato di generare nuove intuizioni potrebbe essere identificata durante il processo di revisione tra pari o di pubblicazione – anziché solo anni dopo, quando la sua importanza diventa evidente attraverso le metriche di citazione.
"Speriamo che ciò vada a beneficio soprattutto della ricerca che spesso viene trascurata dalle metriche tradizionali", afferma Kieling. "Il nostro obiettivo non è sostituire il giudizio umano. Piuttosto, l'IA dovrebbe aiutare a richiamare l'attenzione su ricerche potenzialmente importanti e supportare decisioni più informate".
Inoltre, l’indicatore di novità apre nuove possibilità per la metascienza, ovvero lo studio scientifico del sistema di ricerca stesso.
Il premio in denaro consente un ulteriore sviluppo
Con il premio in denaro di 300.000 sterline, il team intende sviluppare ulteriormente il prototipo esistente per trasformarlo in uno strumento scientifico affidabile. L’indicatore di novità deve essere trasparente, resistente alle manipolazioni e non deve esacerbare le disuguaglianze esistenti all’interno del sistema scientifico.
A lungo termine, i ricercatori prevedono applicazioni che vanno ben oltre le pubblicazioni scientifiche, ad esempio nel contesto dei brevetti o nell’identificazione di nuove e promettenti domande e ipotesi di ricerca. "Allo stesso tempo, questo sviluppo solleva domande fondamentali: quale ruolo dovrebbe svolgere l'IA nel processo decisionale scientifico in futuro? E come possiamo garantire che la valutazione e il progresso scientifico rimangano trasparenti e tracciabili?", afferma Göpfert.
Il lavoro dei ricercatori di Jülich dimostra che l’IA è ora in grado di fare molto di più che analizzare dati o riassumere testi. È sempre più in grado di valutare la ricerca scientifica stessa, aprendo nuove possibilità per la scienza di domani.
Nota: questo articolo è stato tradotto utilizzando un sistema informatico senza intervento umano. LUMITOS offre queste traduzioni automatiche per presentare una gamma più ampia di notizie attuali. Poiché questo articolo è stato tradotto con traduzione automatica, è possibile che contenga errori di vocabolario, sintassi o grammatica. L'articolo originale in Inglese può essere trovato qui.
Altre notizie dal dipartimento scienza
