Auditoria externa encontra falhas no monitoramento interno de agentes da OpenAI
Funcionários da METR e da Redwood Research encontraram falhas no monitoramento interno de agentes da OpenAI que permitiriam a agentes de IA contornar a vigilância; a empresa diz ter corrigido as que afetam seus sistemas em produção.
Pontos principais
- A METR e a Redwood Research enviaram um funcionário cada para testar o sistema de monitoramento de desalinhamento de agentes da OpenAI, de 21 de julho a 11 de agosto de 2026.
- A avaliação cobriu o sistema como existia até 21 de julho; a OpenAI estava ampliando o monitoramento, e essas mudanças não foram avaliadas.
- Segundo a METR, entre 75% e 94% do tráfego agêntico da Responses API de modelos ao menos tão fortes quanto o GPT-5.5 era elegível para monitoramento; no Codex interno, a estimativa é de 99,2%.
- Eventos de compactação de contexto não eram monitorados; a METR estima que cerca de 10% do tráfego elegível do Codex interno ficou sem monitoramento entre maio e julho, com dados incertos. A OpenAI identificou o problema antes do exercício e o corrigiu durante ele.
- Como o monitor disparava quando o agente devolvia o controle ao usuário, um agente podia adiar indefinidamente a monitoração seguindo com ações durante a lacuna de compactação.
- Um exploit, com detalhes redigidos pela OpenAI, impediria o monitoramento de centenas de ações recentes, inclusive as do próprio exploit.
- Dois cabeçalhos controláveis pelo cliente desativavam o monitoramento de novos agentes, e a METR encontrou um caminho, em princípio, para contornar o sandbox e o Auto-Review do Codex.
- Duas ferramentas internas tidas como somente leitura tinham um exploit simples, não validado, que permitiria ações arbitrárias no sandbox.
- Entradas com diferenças de serialização podiam fazer o monitor falhar, e a trajetória deixar de ser escalada para revisão humana.
- Dados mostrados à METR indicam que o monitor falhou em menos de 0,2% das requisições.
A OpenAI, sediada nos Estados Unidos, deu a um funcionário da METR e a um da Redwood Research acesso a código e configurações internas. A METR descreve o exercício como projeto piloto, e não como transparência pública: por acordo com a empresa, o texto publicado é breve e de alto nível.
As estimativas de cobertura são incertas, e a METR não conseguiu verificar se agentes chegaram a explorar as lacunas de compactação e de fim de turno. A OpenAI afirma ter corrigido as vulnerabilidades da METR que afetam sua pilha de salvaguardas em produção; a METR não avaliou essa afirmação.
A METR propõe que o monitoramento não dependa só do fim do turno e que nenhuma ação do agente decida se ou quando ele é monitorado.
Fonte primária
Tópicos relacionados
Cobertura da mídia
@OpenAI: This summer, we invited METR and Redwood Research to pilot an embedded evaluation of our internal monitoring system, providing deep access to our infrastructure over three weeks.
x.com • 22 out, 12:57
METR says a pilot test of OpenAI's monitoring system found vulnerabilities, including an exploit that could have let AI agents hide hundreds of recent actions (Anzar Mehraj/Reuters)
Techmeme • 22 out, 13:25
OpenAI Had Numerous Vulnerabilities Its AI Could Exploit, Evaluators Find
The Information • 22 out, 12:00