Daily Journal
Daily Journal

OpenAI lança Control Room para monitorar e parar cargas de pesquisa com modelos

A OpenAI apresentou o Control Room, sistema central que acompanha cargas de trabalho de pesquisa e interrompe a saída dos modelos em até 35 segundos após a decisão de intervir.

Daily Journal
||
09/11 às 19:15, atualizado 19:40

Pontos principais

  • O Control Room conecta todas as cargas de inferência de pesquisa, incluindo amostragem agêntica para treino e avaliação e processamento de dados.
  • A OpenAI diz que o sistema já está implantado na infraestrutura de pesquisa, onde, segundo a empresa, a necessidade é maior.
  • Monitores de desalinhamento, que são outros modelos inspecionando o que o modelo treinado faz, podem mandar parar uma carga; a OpenAI cita um incidente recente relacionado a DNS que foi detectado por um monitor.
  • A parada atinge a saída do modelo, não o código da carga: o motor de inferência pede autorização antes de cada requisição, e a carga interrompida recebe recusa mesmo que o processo continue rodando.
  • A parada leva até 35 segundos após a instrução de interromper; a OpenAI atribui a defasagem a uma camada de cache de autorização e trabalha para zerá-la.
  • Toda carga de pesquisa com inferência agêntica precisa estar associada a um safety case aprovado.
  • Se o serviço cair ou for desativado, inclusive por adulteração, todas as requisições de inferência são negadas (fail-closed); a regra já vale para todas as cargas de fronteira e termina nas demais nos próximos dias.

A OpenAI apresenta o Control Room como parte de sua abordagem de treino e implantação seguros, ao lado do monitoramento de desalinhamento e de violações de segurança. O sistema cobre a infraestrutura de pesquisa; para a pilha externa de servir modelos, a empresa diz que já há capacidade operacional para retirar implantações rapidamente.

Como a checagem fica na camada de inferência, a proteção não depende de o código das cargas estar correto. A OpenAI diz também que roda varreduras contínuas para detectar motores de inferência sem o controle.

Fonte primária

Tópicos relacionados

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.