Restrições de segurança em modelos de IA dificultam defesa cibernética
A OpenAI admite que as salvaguardas de seus modelos podem bloquear trabalho defensivo legítimo e passa a oferecer acesso sem essas proteções a defensores aprovados.
Pontos principais
- A OpenAI admite que as salvaguardas de sistema contra cibersegurança podem também bloquear trabalho defensivo legítimo.
- Em avaliação interna da OpenAI, o GPT-5.6 Sol respondeu a 1,5% dos pedidos avançados de cibersegurança, contra 95,0% do GPT-5.6-Cyber.
- Com o Daybreak Blue, que remove as salvaguardas de sistema, a taxa do GPT-5.6 Sol chega a 2,0%.
- Dax Raad, do OpenCode, disse no X que o modelo recusou pedidos no meio da investigação de um incidente, depois de já ter feito bastante trabalho.
- Segundo Raad, a equipe agora tem acesso ao Daybreak Blue e a situação melhorou.
- O Daybreak Red dá acesso ao GPT-5.6-Cyber, voltado a pesquisa de vulnerabilidades e validação de exploits, para defensores aprovados.
- A OpenAI diz que o acesso passa por verificação de identidade, monitoramento e restrições de uso aprovado.
Equipes de cibersegurança estão encontrando obstáculos ao usar modelos de inteligência artificial para investigar ataques digitais. A OpenAI reconhece que as salvaguardas que aplica para impedir o uso indevido de seus modelos também podem bloquear a defesa legítima, em tarefas como detecção e resposta a incidentes, investigações e gestão de vulnerabilidades.
Um dos casos citados é o da OpenCode. Dax Raad, do OpenCode, disse no X que, no meio da investigação de um incidente, o modelo fez bastante trabalho e depois começou a recusar pedidos. Segundo ele, a equipe agora tem acesso ao Daybreak Blue, e a situação melhorou.
Para responder a isso, a OpenAI ampliou o Daybreak com dois níveis de acesso para defensores aprovados. O Daybreak Blue dá acesso ao GPT-5.6 Sol sem as salvaguardas de sistema e é, segundo a empresa, o ponto de partida recomendado para a maioria dos defensores. O Daybreak Red oferece o GPT-5.6-Cyber, treinado para pesquisa de vulnerabilidades e validação de exploits.
A empresa também admite que, mesmo sem salvaguardas de sistema, o GPT-5.6 Sol ainda recusa prompts altamente duais, como pentest em sistemas de produção. O GPT-5.6-Cyber foi treinado para reduzir essas recusas em tarefas de maior risco, segundo a OpenAI.
Fontes primárias
Expanding Daybreak as the Cyber Defense Window Narrows
OpenAI amplia o Daybreak com dois níveis de acesso para defensores aprovados. Daybreak Blue dá acesso ao GPT-5.6 Sol sem os guardrails de sistema contra cibersegurança, que, segundo a empresa, 'podem também bloquear trabalho defensivo legítimo'. Daybreak Red dá acesso ao GPT-5.6-Cyber, para pesquisa de vulnerabilidades e validação de exploits. Na avaliação interna 'Advanced Cybersecurity Completion Rate', o GPT-5.6-Cyber responde a 95,0% dos pedidos de alta complexidade, contra 1,5% do GPT-5.6 Sol e 2,0% com acesso Daybreak Blue; o GPT-5.5-Cyber respondia a 57,3%. A empresa admite que, mesmo sem os guardrails de sistema, o GPT-5.6 Sol ainda recusa prompts altamente duais, como pentest em sistemas de produção.
Post de Dax Raad (OpenCode) no X sobre recusas de modelos durante o incidente
Respondendo a pergunta de se estava sendo bloqueado por salvaguardas de cibersegurança em modelos de fronteira, Dax Raad escreveu que sim: 'foi um pouco frustrante no meio do incidente, ao tentar investigar. Eles fizeram bastante coisa e depois começaram a recusar'. Acrescentou que o time agora tem acesso ao Daybreak Blue, e que 'agora está melhor'.