A IA identifica a novidade científica
Equipa de Jülich vence desafio internacional
Anúncios
Uma equipa de investigação do Forschungszentrum Jülich venceu o concurso internacional «Metascience Novelty Indicators Challenge». Os cientistas da Jülich Systems Analysis desenvolveram um método que permite à inteligência artificial avaliar a novidade das publicações científicas – ou seja, em que medida um estudo contribui para o avanço do conhecimento científico. Pelo seu sucesso, a equipa recebeu um prémio monetário de 300 000 libras para continuar a desenvolver o método.
O desafio foi organizado pela UK Metascience Unit (UKRI) em colaboração com parceiros internacionais. O objetivo era desenvolver um método escalável para avaliar a novidade de artigos de investigação no momento da sua publicação.
Para tal, os organizadores disponibilizaram um conjunto de dados com 100 000 publicações científicas recentes. Peritos das respetivas disciplinas avaliaram a sua novidade de forma independente uns dos outros. A tarefa das equipas participantes consistia em prever esses pareceres de peritos com a maior precisão possível – sem conhecer as avaliações.
A abordagem de Jülich obteve os melhores resultados em todos os critérios de avaliação.
«Até agora, a capacidade de avaliar o que é verdadeiramente inovador e valioso num artigo científico tem-se limitado a especialistas humanos», afirma o Dr.-Ing. Jann Michael Weinand, chefe do Departamento de Cenários Integrados do Instituto de Sistemas Climáticos e Energéticos – Análise de Sistemas de Jülich (ICE-2). «A nossa abordagem mostra que os sistemas modernos de IA podem apoiar esta tarefa com uma fiabilidade surpreendente.»
A IA analisa o conteúdo em vez do número de citações
Ao contrário de muitas métricas de investigação estabelecidas, o sistema de Jülich não avalia a frequência com que um artigo é citado posteriormente. «Os metadados não são suficientes para avaliar a novidade no momento da publicação. Por isso, o nosso sistema examina o conteúdo de um estudo e relaciona-o com o estado do conhecimento na altura da sua publicação», afirma o líder do projeto Jan Göpfert, também do ICE-2, que desenvolveu a abordagem em conjunto com o seu colega Samuel Kieling.
Para tal, o sistema analisa primeiro o próprio estudo, bem como artigos científicos selecionados a que este se refere. Com base nisso, a IA reconstrói o estado do conhecimento na altura da publicação, incluindo lacunas conhecidas na investigação. Em seguida, avalia a contribuição do novo estudo. Introduz um novo método? Apresenta resultados surpreendentes? Resolve um problema anteriormente por resolver? Ao fazê-lo, o sistema recolhe deliberadamente argumentos a favor e contra a novidade de um artigo e pondera-os uns contra os outros.
No final, a IA atribui uma pontuação de novidade entre 0 e 100. Também fornece um intervalo que indica o grau de confiança do modelo na sua avaliação. Uma justificação escrita detalhada torna então a avaliação transparente. «O maior desafio foi definir a novidade de forma significativa. Para nós, novidade não significa simplesmente dissimilaridade. O que importa é a contribuição de um trabalho para o progresso científico», afirma Kieling.
Visibilidade mais precoce para investigação importante
O número de publicações científicas continua a crescer rapidamente. Ao mesmo tempo, um número crescente de artigos está a ser produzido com a ajuda de ferramentas de IA. Isto torna cada vez mais difícil para investigadores, revistas académicas e organizações de financiamento identificarem contribuições particularmente relevantes numa fase inicial.
É aqui que o indicador de novidade poderá ajudar no futuro. A investigação com um potencial particularmente elevado para gerar novos insights poderá ser identificada durante o processo de revisão por pares ou de publicação – em vez de apenas anos mais tarde, quando a sua importância se torna evidente através de métricas de citação.
«Esperamos que isto beneficie particularmente a investigação que é frequentemente ignorada pelas métricas tradicionais», afirma Kieling. «O nosso objetivo não é substituir o julgamento humano. Em vez disso, a IA deve ajudar a chamar a atenção para investigação potencialmente importante e apoiar decisões mais bem informadas.»
Além disso, o Indicador de Novidade abre novas possibilidades para a metaciência, ou seja, o estudo científico do próprio sistema de investigação.
O prémio monetário permite um maior desenvolvimento
Com o prémio monetário de 300 000 libras, a equipa pretende continuar a desenvolver o protótipo existente, transformando-o numa ferramenta científica fiável. O Indicador de Novidade pretende ser transparente, resistente à manipulação e não deve agravar as desigualdades existentes no sistema científico.
A longo prazo, os investigadores prevêem aplicações muito para além das publicações científicas – por exemplo, no contexto das patentes ou da identificação de novas e promissoras questões e hipóteses de investigação. «Ao mesmo tempo, este desenvolvimento levanta questões fundamentais: que papel deve a IA desempenhar na tomada de decisões científicas no futuro? E como podemos garantir que a avaliação e o progresso científicos permaneçam transparentes e rastreáveis?», afirma Göpfert.
O trabalho dos investigadores de Jülich demonstra que a IA é agora capaz de muito mais do que analisar dados ou resumir textos. Está cada vez mais apta a avaliar a própria investigação científica – abrindo novas possibilidades para a ciência do futuro.
Observação: Este artigo foi traduzido usando um sistema de computador sem intervenção humana. A LUMITOS oferece essas traduções automáticas para apresentar uma gama mais ampla de notícias atuais. Como este artigo foi traduzido com tradução automática, é possível que contenha erros de vocabulário, sintaxe ou gramática. O artigo original em Inglês pode ser encontrado aqui.
Outras notícias do departamento ciência
