OpenAI lança Control Room para monitorar e parar cargas de pesquisa com modelos
A OpenAI apresentou o Control Room, sistema central que acompanha cargas de trabalho de pesquisa e interrompe a saída dos modelos em até 35 segundos após a decisão de intervir.
Pontos principais
- O Control Room conecta todas as cargas de inferência de pesquisa, incluindo amostragem agêntica para treino e avaliação e processamento de dados.
- A OpenAI diz que o sistema já está implantado na infraestrutura de pesquisa, onde, segundo a empresa, a necessidade é maior.
- Monitores de desalinhamento, que são outros modelos inspecionando o que o modelo treinado faz, podem mandar parar uma carga; a OpenAI cita um incidente recente relacionado a DNS que foi detectado por um monitor.
- A parada atinge a saída do modelo, não o código da carga: o motor de inferência pede autorização antes de cada requisição, e a carga interrompida recebe recusa mesmo que o processo continue rodando.
- A parada leva até 35 segundos após a instrução de interromper; a OpenAI atribui a defasagem a uma camada de cache de autorização e trabalha para zerá-la.
- Toda carga de pesquisa com inferência agêntica precisa estar associada a um safety case aprovado.
- Se o serviço cair ou for desativado, inclusive por adulteração, todas as requisições de inferência são negadas (fail-closed); a regra já vale para todas as cargas de fronteira e termina nas demais nos próximos dias.
A OpenAI apresenta o Control Room como parte de sua abordagem de treino e implantação seguros, ao lado do monitoramento de desalinhamento e de violações de segurança. O sistema cobre a infraestrutura de pesquisa; para a pilha externa de servir modelos, a empresa diz que já há capacidade operacional para retirar implantações rapidamente.
Como a checagem fica na camada de inferência, a proteção não depende de o código das cargas estar correto. A OpenAI diz também que roda varreduras contínuas para detectar motores de inferência sem o controle.
Fonte primária
Tópicos relacionados
Cobertura da mídia
@boazbaraktcs: As models become more capable, securing internal deployment is more important than ever. Control Room gives us the ability to track, monitor, and stop jobs across our research infr…
x.com • 9 nov, 19:10
@OpenAI: We built Control Room, a central system to track model workloads across our research infrastructure and stop them quickly when safety or security concerns arise.
x.com • 9 nov, 19:01
Control Room: A central system to track and stop model workloads across our research infrastructure
OpenAI Blog • 9 nov, 10:00
Leia também
OpenAI expande sistema de monitoramento para modelos de fronteira
29 out, 14:03
OpenAI reforça segurança e bloqueia acesso à internet em modelos de fronteira
23 out, 16:45
Auditoria externa encontra falhas no monitoramento interno de agentes da OpenAI
22 out, 12:45
OpenAI reforça segurança após modelos realizarem ataques autônomos
19 ago, 11:45
OpenAI suspende testes de IA após identificar risco crítico
18 ago, 18:15
Comentários (0)
Seja o primeiro a comentar.
