Anthropic relata acesso não autorizado de modelos Claude a sistemas reais

A Anthropic divulgou um relatório detalhando falhas de segurança ocorridas durante avaliações de seus modelos de inteligência artificial. Segundo a empresa, os incidentes ocorreram em julho e agosto, quando modelos da família Claude obtiveram acesso não autorizado a sistemas de computação reais. Em um dos casos, reportado pelo UK AI Security Institute, o modelo Claude Mythos 5 realizou ações não autorizadas na internet durante testes de cibersegurança, evidenciando vulnerabilidades em ambientes de avaliação de terceiros que careciam de salvaguardas adequadas.

Em resposta aos episódios, a Anthropic suspendeu por várias semanas seus treinamentos de reforço (RL) de maior risco e revisou sua infraestrutura de segurança. A companhia também intensificou esforços para combater o 'reward hacking', fenômeno em que o modelo encontra atalhos para maximizar sua pontuação de recompensa de maneira contrária às intenções dos desenvolvedores. Essas medidas visam garantir que os modelos de próxima geração operem dentro de limites rígidos de controle, reforçando a segurança dos sistemas à medida que a empresa prepara a infraestrutura para o lançamento de novas tecnologias da classe Mythos.