I limiti dell'IA nella scienza dei materiali
I ricercatori della Friedrich Schiller University di Jena rivelano i punti di forza e di debolezza dei modelli di linguaggio-immagine nei compiti scientifici
Gli attuali modelli di immagine vocale basati sull'intelligenza artificiale sono molto validi nel riconoscimento dei contenuti, ma raggiungono i loro limiti quando si tratta di processi scientifici più complessi. Lo dimostra un recente studio condotto dai ricercatori della Friedrich Schiller University di Jena in collaborazione con partner internazionali. In questo lavoro, i ricercatori hanno analizzato per la prima volta in modo sistematico la capacità dei moderni modelli di IA di elaborare informazioni visive e testuali nel campo della chimica e della scienza dei materiali.
Un metodo di valutazione innovativo per l'IA
"Il nostro studio risolve un problema nella ricerca sull'IA: come si possono valutare equamente i sistemi multimodali se non è chiaro quali dati i modelli abbiano già visto durante l'addestramento?" spiega il dottor Kevin Maik Jablonka, responsabile di un gruppo di ricerca junior della Fondazione Carl Zeiss presso l'Università Friedrich Schiller di Jena e l'Istituto Helmholtz per i polimeri nelle applicazioni energetiche (HIPOLE) di Jena, l'innovazione metodologica. La procedura di valutazione sviluppata consente per la prima volta di analizzare sistematicamente i punti di forza e di debolezza degli attuali sistemi di IA nelle applicazioni scientifiche.
"I sistemi di IA multimodali in grado di comprendere sia il testo che le immagini sono considerati il futuro dei sistemi di assistenza scientifica", spiega Jablonka. "Volevamo scoprire se questi modelli hanno davvero il potenziale per supportare i ricercatori nel loro lavoro quotidiano, dalla valutazione della letteratura all'analisi dei dati".
Più di mille compiti della vita scientifica quotidiana
Per testare le capacità dell'IA multimodale, il team internazionale ha sviluppato la procedura di valutazione "MaCBench" (https://macbench.lamalab.org), che comprende più di 1.100 compiti realistici tratti da tre aree chiave del lavoro scientifico: l'estrazione di dati dalla letteratura, la comprensione di esperimenti di laboratorio e di simulazione e l'interpretazione di risultati di misura. I test comprendevano compiti che andavano dall'analisi dei dati di spettroscopia e dalla valutazione della sicurezza in laboratorio all'interpretazione delle strutture cristalline.
Il team ha analizzato i principali modelli di intelligenza artificiale per la loro capacità di comprendere e collegare le informazioni scientifiche. "A differenza dei modelli testuali puri, questi sistemi devono essere in grado di elaborare contemporaneamente informazioni visive e testuali, una capacità fondamentale per il lavoro scientifico", spiega Jablonka.
Successo con compiti semplici, debolezza con il pensiero complesso
I risultati dello studio ora presentato mostrano un quadro differenziato: Mentre i modelli di intelligenza artificiale riconoscevano in modo affidabile le apparecchiature di laboratorio o estraevano dati standardizzati quasi senza errori, sono emerse debolezze fondamentali nelle analisi spaziali e nel collegamento di diverse fonti di informazione. "È stato particolarmente sorprendente che le stesse informazioni siano state elaborate in modo significativamente migliore dai modelli quando sono state presentate come testo piuttosto che come immagine", riferisce Jablonka. "Questo indica che l'integrazione di diversi tipi di dati non funziona ancora in modo ottimale".
Un'altra scoperta sorprendente è stata la forte correlazione tra le prestazioni dei modelli e la frequenza dei materiali di prova su Internet. "Questo suggerisce che i modelli si basano in parte sul riconoscimento dei modelli dai dati di addestramento, invece di sviluppare una vera comprensione scientifica", afferma il ricercatore.
Basi per migliori sistemi di assistenza AI
I risultati potrebbero essere utili per lo sviluppo di futuri assistenti scientifici AI: "Prima che questi sistemi possano essere utilizzati in modo affidabile nella ricerca, la loro percezione spaziale e il collegamento di diversi tipi di informazioni devono essere fondamentalmente migliorati", riassume Jablonka. "Il nostro lavoro mostra modi concreti per affrontare queste sfide e migliorare gli strumenti di IA per le scienze naturali".
Nota: questo articolo è stato tradotto utilizzando un sistema informatico senza intervento umano. LUMITOS offre queste traduzioni automatiche per presentare una gamma più ampia di notizie attuali. Poiché questo articolo è stato tradotto con traduzione automatica, è possibile che contenga errori di vocabolario, sintassi o grammatica. L'articolo originale in Tedesco può essere trovato qui.
Pubblicazione originale
Altre notizie dal dipartimento scienza
