Google apresenta sistema de IA para pesquisa científica autônoma
O Science One Framework elimina alucinações em pesquisas de IA ao vincular cada afirmação a evidências verificáveis em tempo real.
Pontos principais
- O sistema utiliza a estrutura Chain-of-Evidence (CoE) para garantir que cada citação e dado experimental possua uma fonte rastreável.
- Testes mostraram que sistemas de IA comuns apresentam até 21% de referências inexistentes, enquanto o Science One atingiu taxa zero.
- A ferramenta inclui o CoE Audit, um protocolo automatizado que verifica a integridade de artigos científicos gerados por máquinas.
- O framework superou ou igualou especialistas humanos em cinco tarefas do benchmark ADRS de sistemas de pesquisa.
- Em competições do Kaggle via MLE-Bench, o sistema conquistou medalhas de ouro e prata em tarefas complexas de machine learning.
- O modelo evita a dependência da memória do LLM ao realizar buscas externas em APIs acadêmicas para fundamentar cada citação.
O Google Cloud anunciou o Science One Framework, um protótipo de pesquisa autônoma projetado para resolver problemas de veracidade em manuscritos científicos gerados por inteligência artificial. Diferente de sistemas anteriores, que frequentemente criam referências falsas ou apresentam desalinhamento entre o código executado e a metodologia descrita, o novo framework constrói uma cadeia de evidências nativa durante todo o processo de escrita. Isso garante que cada número, conclusão ou citação esteja vinculado a um registro experimental ou fonte acadêmica real.
Para validar a eficácia da tecnologia, a equipe de pesquisa desenvolveu o CoE Audit, um protocolo de auditoria forense que submete os artigos a testes rigorosos de verificação de pontuação, alinhamento entre método e código e autenticidade de bibliografia. Os resultados indicam que a implementação de critérios estritos de verificação não comprometeu o desempenho do agente, que alcançou resultados de nível humano em benchmarks de engenharia de machine learning e tarefas complexas de pesquisa.
Comentários
Carregando comentários...