L'intelligenza artificiale nella chimica moderna: confronto tra uomo e macchina
"Le possibilità dell'intelligenza artificiale nella chimica stanno suscitando un interesse crescente, quindi abbiamo voluto scoprire quanto siano validi questi modelli"
Un recente studio condotto dai ricercatori dell'Università Friedrich Schiller di Jena ha analizzato la potenza dei moderni modelli di intelligenza artificiale, come il GPT-4, in chimica e le loro prestazioni rispetto agli esperti umani. Utilizzando un metodo di prova di nuova concezione chiamato "ChemBench", il team guidato dal dottor Kevin M. Jablonka è stato in grado di dimostrare che i modelli di IA sono convincenti in alcune aree di attività, ma presentano anche chiari punti deboli. Il team ne dà notizia sulla rivista scientifica "Nature Chemistry".
"Le possibilità dell'intelligenza artificiale nella chimica stanno suscitando un interesse crescente, quindi abbiamo voluto scoprire quanto siano realmente validi questi modelli", spiega Jablonka, responsabile del Carl Zeiss Foundation Junior Research Group "Polymers in Energy Applications" dell'Università Friedrich Schiller di Jena e dell'Helmholtz Institute for Polymers in Energy Applications (HIPOLE) di Jena. Al centro dello studio c'era "ChemBench", uno strumento sviluppato dai ricercatori che è stato confrontato con le competenze dei chimici.
Oltre 2.700 compiti a confronto tra uomini e macchine
Per testare le capacità dell'intelligenza artificiale, il team dell'Università di Jena ha sviluppato una speciale procedura di test che utilizza compiti reali che si incontrano nella chimica moderna. Nello strumento "ChemBench" sono state integrate più di 2.700 domande provenienti da diverse aree della chimica, dalla chimica organica a quella analitica. Esse coprono sia le conoscenze di base che i problemi più impegnativi e si basano sui tipici programmi di studio della chimica. Le prestazioni dei modelli di intelligenza artificiale sono state confrontate con quelle di 19 esperti che lavoravano sugli stessi compiti.
Mentre agli esseri umani è stato consentito di utilizzare ausili come Google o programmi di chimica per una parte dello studio, i modelli di intelligenza artificiale hanno dovuto fare a meno di tali risorse esterne. "I modelli sono stati quindi in grado di trarre le loro conoscenze esclusivamente dall'addestramento con i dati esistenti", spiega Jablonka. "Abbiamo anche testato due agenti di IA con accesso a strumenti esterni, ma non sono riusciti a tenere il passo con i modelli migliori", aggiunge il chimico. Oltre all'accuratezza delle risposte, i ricercatori hanno valutato anche la capacità dell'IA di valutare l'affidabilità delle proprie risposte.
L'IA è più veloce ed efficiente, gli esseri umani sono più riflessivi e autocritici
I risultati dello studio mostrano un quadro contrastante, riferisce Jablonka: "Anche per domande molto impegnative di tipo testuale, alcuni modelli di IA si sono dimostrati più efficienti degli esseri umani". Tuttavia, mentre i chimici hanno ammesso apertamente in alcuni casi di non essere in grado di rispondere con certezza a una domanda, i migliori modelli di IA hanno mostrato una tendenza opposta: hanno spesso fornito risposte con grande sicurezza, anche se il contenuto era errato.
"Risposte errate con grande convinzione possono creare problemi".
"Questo è stato particolarmente evidente con le domande sull'interpretazione delle strutture chimiche, come la previsione degli spettri NMR", spiega Jablonka. In questo caso, i modelli sembravano fornire risposte chiare, anche se a volte commettevano errori fondamentali. Gli esperti umani, invece, esitavano più spesso e mettevano in dubbio le proprie conclusioni. "Questa discrepanza è un fattore decisivo per l'applicabilità pratica dell'IA in chimica", categorizza Jablonka, perché: "Un modello che fornisce risposte errate con alta convinzione può portare a problemi in aree sensibili della ricerca".
"La nostra ricerca dimostra che l'IA può essere un'importante aggiunta alle competenze umane - non come un sostituto, ma come uno strumento prezioso che supporta il lavoro", riassume Kevin Jablonka. "Il nostro studio pone quindi le basi per una più stretta collaborazione tra l'IA e le competenze umane nella chimica".
Nota: questo articolo è stato tradotto utilizzando un sistema informatico senza intervento umano. LUMITOS offre queste traduzioni automatiche per presentare una gamma più ampia di notizie attuali. Poiché questo articolo è stato tradotto con traduzione automatica, è possibile che contenga errori di vocabolario, sintassi o grammatica. L'articolo originale in Inglese può essere trovato qui.
Pubblicazione originale
Adrian Mirza, Nawaf Alampara, Sreekanth Kunchapu, Martiño Ríos-García, Benedict Emoekabu, Aswanth Krishnan, Tanya Gupta, Mara Schilling-Wilhelmi, ... Johanna Schreiber, Ulrich S. Schubert, Leanne M. Stafast, A. D. Dinga Wonanke, Michael Pieler, Philippe Schwaller, Kevin Maik Jablonka; "A framework for evaluating the chemical knowledge and reasoning abilities of large language models against the expertise of chemists"; Nature Chemistry, 2025-5-20
Altre notizie dal dipartimento scienza
