Estudo do Google revela que LLMs falham ao recuperar fatos conhecidos

Um estudo conduzido por pesquisadores do Google Research e do Technion indica que a baixa precisão factual em modelos de linguagem de grande escala (LLMs) é, frequentemente, uma falha de recuperação e não de armazenamento. A análise demonstrou que modelos de fronteira, como o GPT-5 e o Gemini-3, já possuem entre 95% e 98% dos fatos testados codificados em sua estrutura. O problema reside na incapacidade do modelo de acessar esses dados de forma direta durante a inferência. A utilização de técnicas de processamento, como a 'Chain-of-Thought', demonstrou ser eficaz ao permitir que os modelos recuperem até 65% das informações que inicialmente falharam em processar. Os autores sugerem que o foco do desenvolvimento deve migrar para o 'fact-level profiling', uma vez que aumentar o tamanho dos modelos pode, paradoxalmente, elevar a taxa de falhas de recuperação, deixando vastas quantidades de conhecimento armazenado inacessíveis para o usuário final.