Inteligência artificial na química moderna: comparação entre humanos e máquinas
"As possibilidades da inteligência artificial na Química estão a atrair um interesse crescente - por isso, quisemos descobrir até que ponto estes modelos são realmente bons"
Um estudo recente efectuado por investigadores da Universidade Friedrich Schiller de Jena investigou o poder dos modelos modernos de IA, como o GPT-4, em química e o seu desempenho em comparação com o de peritos humanos. Utilizando um método de teste recentemente desenvolvido, denominado "ChemBench", a equipa liderada pelo Dr. Kevin M. Jablonka conseguiu demonstrar que os modelos de IA são convincentes em determinadas áreas de tarefas, mas também apresentam fraquezas evidentes. A equipa apresenta os resultados na revista científica "Nature Chemistry".
"As possibilidades da inteligência artificial na Química estão a atrair um interesse crescente - por isso quisemos descobrir até que ponto estes modelos são realmente bons", explica Jablonka, chefe do Grupo de Investigação Júnior da Fundação Carl Zeiss "Polímeros em Aplicações Energéticas" na Universidade Friedrich Schiller de Jena e no Instituto Helmholtz para Polímeros em Aplicações Energéticas (HIPOLE) de Jena. No centro do estudo esteve o "ChemBench", uma ferramenta desenvolvida pelos investigadores que foi comparada com as competências dos químicos.
Mais de 2700 tarefas comparadas entre humanos e máquinas
Para testar as capacidades da IA, a equipa da Universidade de Jena desenvolveu um procedimento de teste especial que utiliza tarefas da vida real encontradas na química moderna. Foram integradas na ferramenta "ChemBench" mais de 2700 perguntas de várias áreas da Química - desde a química orgânica à química analítica. Abrangem tanto conhecimentos básicos como problemas difíceis e baseiam-se em currículos típicos de Química. O desempenho dos modelos de IA foi comparado com o de 19 peritos experientes que trabalhavam nas mesmas tarefas.
Enquanto os humanos foram autorizados a utilizar ajudas como o Google ou programas químicos durante parte do estudo, os modelos de IA tiveram de se desenvencilhar sem esses recursos externos. "Os modelos puderam, por isso, retirar os seus conhecimentos exclusivamente da formação com dados existentes", explica Jablonka. "Também testámos dois agentes de IA com acesso a ferramentas externas, mas estes não conseguiram acompanhar os melhores modelos", acrescenta o químico. Para além da precisão das respostas, os investigadores também avaliaram a fiabilidade das respostas dadas pela IA.
A IA é mais rápida e mais eficiente, os humanos são mais reflexivos e autocríticos
Os resultados do estudo mostram um quadro misto, relata Jablonka: "Mesmo para perguntas muito exigentes do tipo livro de texto, alguns modelos de IA provaram ser mais eficientes do que os humanos". No entanto, enquanto os químicos admitiram abertamente, em alguns casos, que não conseguiam responder a uma pergunta com certeza, os melhores modelos de IA mostraram uma tendência oposta: deram frequentemente respostas com grande confiança - mesmo que o conteúdo estivesse incorreto.
"Respostas incorrectas com grande convicção podem levar a problemas"
"Isto foi particularmente notório nas perguntas sobre a interpretação de estruturas químicas, como a previsão de espectros de RMN", diz Jablonka. Neste caso, os modelos pareciam dar respostas claras, mesmo que por vezes cometessem erros fundamentais. Os peritos humanos, pelo contrário, hesitaram mais vezes e questionaram as suas próprias conclusões. "Esta discrepância é um fator decisivo para a aplicabilidade prática da IA na química", categoriza Jablonka, porque: "Um modelo que dá respostas incorrectas com grande convicção pode causar problemas em áreas sensíveis da investigação".
"A nossa investigação mostra que a IA pode ser um complemento importante para os conhecimentos humanos - não como um substituto, mas como uma ferramenta valiosa que apoia o trabalho", resume Kevin Jablonka. "O nosso estudo lança assim as bases para uma colaboração mais estreita entre a IA e os conhecimentos humanos em Química."
Observação: Este artigo foi traduzido usando um sistema de computador sem intervenção humana. A LUMITOS oferece essas traduções automáticas para apresentar uma gama mais ampla de notícias atuais. Como este artigo foi traduzido com tradução automática, é possível que contenha erros de vocabulário, sintaxe ou gramática. O artigo original em Inglês pode ser encontrado aqui.
Publicação original
Adrian Mirza, Nawaf Alampara, Sreekanth Kunchapu, Martiño Ríos-García, Benedict Emoekabu, Aswanth Krishnan, Tanya Gupta, Mara Schilling-Wilhelmi, ... Johanna Schreiber, Ulrich S. Schubert, Leanne M. Stafast, A. D. Dinga Wonanke, Michael Pieler, Philippe Schwaller, Kevin Maik Jablonka; "A framework for evaluating the chemical knowledge and reasoning abilities of large language models against the expertise of chemists"; Nature Chemistry, 2025-5-20
Outras notícias do departamento ciência
