Os limites da IA na ciência dos materiais
Investigadores da Universidade Friedrich Schiller de Jena revelam os pontos fortes e fracos dos modelos língua-imagem em tarefas científicas
Os actuais modelos de imagem-fala baseados em IA são muito bons no reconhecimento de conteúdos, mas atingem os seus limites quando se trata de processos científicos mais complexos. É o que demonstra um estudo recente realizado por investigadores da Universidade Friedrich Schiller de Jena, em colaboração com parceiros internacionais. Neste trabalho, os investigadores analisaram sistematicamente, pela primeira vez, a capacidade dos modelos modernos de IA para processar informação visual e textual em química e ciência dos materiais.
Método de avaliação inovador para a IA
"O nosso estudo resolve um problema na investigação em IA: como é que se podem avaliar sistemas multimodais de forma justa se não for claro quais os dados que os modelos já viram durante o treino?", explica o Dr. Kevin Maik Jablonka, chefe de um grupo de investigação júnior da Fundação Carl Zeiss na Universidade Friedrich Schiller de Jena e no Instituto Helmholtz para Polímeros em Aplicações Energéticas (HIPOLE) de Jena, a inovação metodológica. O procedimento de avaliação desenvolvido permite, pela primeira vez, analisar sistematicamente os pontos fortes e fracos dos actuais sistemas de IA em aplicações científicas.
"Os sistemas de IA multimodais que podem compreender texto e imagens são vistos como o futuro dos sistemas de assistência científica", explica Jablonka. "Queríamos descobrir se estes modelos têm realmente potencial para apoiar os investigadores no seu trabalho diário, desde a avaliação da literatura à análise de dados."
Mais de mil tarefas da vida científica quotidiana
Para testar as capacidades da IA multimodal, a equipa internacional desenvolveu o procedimento de avaliação "MaCBench" (https://macbench.lamalab.org), que inclui mais de 1100 tarefas realistas de três áreas-chave do trabalho científico: extrair dados da literatura, compreender experiências laboratoriais e de simulação e interpretar resultados de medições. Os testes incluíram tarefas que vão desde a análise de dados de espetroscopia e a avaliação da segurança laboratorial até à interpretação de estruturas cristalinas.
A equipa analisou os principais modelos de IA quanto à sua capacidade de compreender e ligar informações científicas. "Em contraste com os modelos de texto puro, estes sistemas devem ser capazes de processar informação visual e textual em simultâneo - uma capacidade essencial para o trabalho científico", explica Jablonka.
Sucesso em tarefas simples, fraquezas no pensamento complexo
Os resultados do estudo agora apresentado mostram um quadro diferenciado: Enquanto os modelos de IA reconheceram de forma fiável o equipamento de laboratório ou extraíram dados normalizados quase sem erros, foram reveladas fraquezas fundamentais nas análises espaciais e na ligação de diferentes fontes de informação. "Foi particularmente surpreendente o facto de a mesma informação ter sido processada significativamente melhor pelos modelos quando foi apresentada como texto e não como imagem", relata Jablonka. "Isto indica que a integração de diferentes tipos de dados ainda não está a funcionar da melhor forma."
Outra descoberta surpreendente foi o facto de o desempenho dos modelos estar fortemente correlacionado com a frequência dos materiais de teste na Internet. "Isto sugere que os modelos se baseiam parcialmente no reconhecimento de padrões a partir de dados de treino, em vez de desenvolverem uma verdadeira compreensão científica", afirma o investigador.
Bases para melhores sistemas de assistência com IA
Os resultados poderão ser benéficos para o desenvolvimento de futuros assistentes científicos de IA: "Antes de estes sistemas poderem ser utilizados de forma fiável na investigação, a sua perceção espacial e a ligação de diferentes tipos de informação têm de ser fundamentalmente melhoradas", resume Jablonka. "O nosso trabalho mostra formas concretas de enfrentar estes desafios e de melhorar as ferramentas de IA para as ciências naturais."
Observação: Este artigo foi traduzido usando um sistema de computador sem intervenção humana. A LUMITOS oferece essas traduções automáticas para apresentar uma gama mais ampla de notícias atuais. Como este artigo foi traduzido com tradução automática, é possível que contenha erros de vocabulário, sintaxe ou gramática. O artigo original em Alemão pode ser encontrado aqui.
Publicação original
Outras notícias do departamento ciência
