Falha em APIs de IA permite extrair raciocínio oculto de modelos

Uma equipe de pesquisadores liderada por Alexander Panfilov identificou uma falha de segurança em APIs de modelos de fronteira que expõe os processos de raciocínio interno, conhecidos como 'chain-of-thought'. Ao capturar blocos criptografados que as plataformas enviam para o computador do usuário, atacantes podem processá-los em modelos menores da mesma empresa, contornando restrições de segurança e revelando dados confidenciais, como senhas e chaves de API, que estavam presentes em logs de depuração compartilhados publicamente.

Além do risco de privacidade, a descoberta reacende o debate sobre a destilação de modelos, técnica onde o comportamento de um sistema avançado é copiado para um mais simples. Embora não haja prova causal definitiva, a semelhança entre as saídas do modelo chinês Kimi-K3 e os traços de raciocínio de modelos da Anthropic e OpenAI levantou suspeitas sobre o uso dessa prática para acelerar o desenvolvimento de IAs. As empresas afetadas já iniciaram ajustes em suas APIs para mitigar a reprodução indevida desses dados.