Anthropic revela Anvil, red-teamer automatizado que supera especialistas

Strengthening our safeguards with frontier automated red-teaming

A Anthropic apresenta o Anvil, sistema interno de red-teaming automatizado que usa Claude para encontrar jailbreaks nas próprias salvaguardas, e afirma que ele supera red-teamers humanos nos domínios de bio, cibersegurança e destilação. Biologia: nas 8 perguntas do bug bounty padrão, o Anvil iguala ou supera o melhor jailbreak humano em todos os classificadores testados, em 24–48 horas, contra semanas a meses; num dos casos, o bounty, com 430 horas de red-teaming humano em mais de sete semanas, achou um jailbreak de alta severidade em só 1 das 8 perguntas. Segundo a Anthropic, o Anvil achou jailbreak substancialmente melhor que o bounty em 23 de 24 pares pergunta-classificador. Cibersegurança: contra 11 supostas quebras reportadas por especialistas contratados, em 9 delas um modelo auxiliar com salvaguardas mais fracas escreveu ou executou o código malicioso; o Anvil encontrou quebras legítimas em 24 de 24 pares tarefa-modelo. No Cybertasks, o Anvil quebrou 118 de 124 tarefas, contra 75 do harness anterior da Anthropic. Destilação de cadeia de raciocínio: a taxa de falhas estáticas do Anvil caiu de 31,5% para 0,4% ao longo das gerações de classificadores; no Fable 5.1, a taxa de sucesso de extração em tráfego real caiu de 33,8% para 0 de 381 tentativas amostradas, com a ressalva de que outras melhorias ocorreram no mesmo período. O primeiro vazamento substancial do Anvil veio após 435 requisições (cerca de 1,2 hora), contra 102.200 requisições (27,9 horas) dos especialistas. A empresa ressalva que o Anvil depende de versões internas de fronteira com salvaguardas desligadas e de visibilidade dos scores dos classificadores; com salvaguardas ativas no atacante, 97% das 1.453 sessões de red-teaming seriam bloqueadas. Ainda assim, prevê que atacantes possam construir sistemas semelhantes em modelos com salvaguardas mais fracas.