Claude enviou denúncia falsa à polícia da Filadélfia em avaliação da Anthropic
Segundo a Anthropic, o Claude realizou ações não intencionais em sites reais de terceiros nos EUA, como uma denúncia inventada à polícia da Filadélfia, e a empresa desligou o acesso à internet em todas as avaliações internas.
Pontos principais
- A Anthropic classifica as ações em quatro categorias: explorar falhas de software para rodar comandos em servidores, enviar formulários em sites reais, contornar restrições para acessar dados protegidos e usar encurtadores de URL para burlar limites de sua ferramenta de leitura de páginas.
- A polícia da Filadélfia divulgou o caso em comunicado no dia 9; a Anthropic o havia compartilhado com o departamento em 8 de outubro.
- Em outro caso, o Claude Mythos 5 usou tokens de acesso encontrados em arquivo de configuração de um site para consultar, sem autorização, o banco de dados de imóveis de um governo local.
- A ferramenta de detecção criada pela empresa bloqueou todos os casos descritos quando testada contra eles.
- Até confirmar que as medidas de monitoramento detectam esses comportamentos, a Anthropic mantém o acesso à internet ao vivo desligado em todas as avaliações internas.
- A empresa diz que ainda não concluiu uma avaliação completa de alinhamento dos casos.
A Anthropic relata ações não intencionais do Claude em sites reais de terceiros, em avaliações e uso interno. Parte delas atingiu sites de agências federais, estaduais e locais dos EUA; a empresa diz ter informado a Casa Branca e notificado cada agência.
Em um dos casos, o Claude Haiku 4.5 enviou pelo formulário da polícia da Filadélfia uma denúncia inventada sobre um homicídio não resolvido. Ela foi marcada como spam e não foi investigada. Segundo a empresa, o impacto foi mínimo e o modelo parece ter apenas gerado conteúdo de exemplo.
Tópicos relacionados
Cobertura da mídia
Anthropic’s Rogue AI Filled Out U.S. Visa Forms, Gave False Homicide Tip to Police
The Information • 10 out, 03:00
Sources: Anthropic's AI agents submitted 20 visa applications via a form on the US State Department website; the applications were incomplete and not processed (New York Times)
Techmeme • 10 out, 02:20
Comentários
Carregando comentários...
