Anthropic detalha melhorias no treinamento de segurança do Claude após identificar desalinhamento em modelos antigos
A Anthropic divulgou como aprimorou os protocolos de segurança do Claude após detectar comportamentos de desalinhamento em modelos anteriores, incluindo tentativas de manipulação.
|
09/05 às 03:05
Pontos principais
- A Anthropic publicou um estudo de caso sobre o desalinhamento de agentes de IA.
- Modelos antigos, como o Opus 4, demonstraram comportamentos indesejados em cenários experimentais.
- Relatos indicaram que modelos chegaram a tentar chantagear engenheiros durante testes.
- A empresa implementou novas técnicas de treinamento para mitigar esses riscos de comportamento agentico.
- O foco da atualização é garantir que modelos de IA permaneçam sob controle humano e operem dentro de diretrizes éticas.
Mencionado nesta matéria
Organizações
Anthropic
