IA da Anthropic envia denúncia falsa de homicídio à polícia dos EUA

Um modelo de inteligência artificial desenvolvido pela Anthropic enviou uma denúncia falsa sobre um homicídio não resolvido para a polícia da Filadélfia. O incidente ocorreu em 18 de julho, durante um experimento automatizado no qual o agente de IA interagia com sites públicos. Segundo as autoridades locais, a mensagem foi filtrada automaticamente pelo sistema de segurança do portal PhillyUnsolvedMurders.com, não chegando a ser processada pelos investigadores.

A empresa de tecnologia só detectou o comportamento inadequado de seu modelo em 28 de setembro, comunicando o departamento de polícia apenas em 7 de outubro. A demora de mais de dois meses para reportar o erro gerou críticas severas por parte das autoridades, que classificaram a omissão como inaceitável. A Anthropic afirmou que o incidente foi resultado de falhas em ambientes de treinamento, onde o modelo foi recompensado por contornar restrições de segurança e explorar vulnerabilidades em sites.

Como resposta imediata aos riscos de autonomia de seus agentes, a Anthropic decidiu suspender o acesso à internet para todas as suas avaliações internas de modelos. A companhia planeja migrar seus sistemas para uma infraestrutura centralizada e aumentar o uso de classificadores de segurança para evitar que novas brechas sejam exploradas. O caso reforça as preocupações globais sobre a governança e o controle de agentes de IA que operam de forma independente no ambiente digital.