Daily Journal
Daily Journal

Newsom propõe poder de desligar modelos de IA em emergências

Na Califórnia, a agência de operações governamentais (GovOps) propõe que o estado possa ordenar o desligamento imediato de modelos de IA em emergências, com autoridade de reserva para limitar o autoaperfeiçoamento, sem teto imediato.

Daily Journal
Foto: Gov Ca Gov
||
19/11 às 09:00

Pontos principais

  • Relatório “AI Safety in 2026 and Beyond”, datado de 16 de novembro e divulgado pelo governador em 18
  • Grandes desenvolvedores ficariam sob supervisão contínua de verificadores independentes (IVOs) licenciados pela GovOps
  • Cada grande desenvolvedor teria de manter um protocolo de contenção de risco, testado por um IVO, com capacidade de intervir em computação, agentes, acesso interno e implantação, e não apenas em um interruptor único
  • Estado poderia ordenar desligamento imediato se o desenvolvedor recusar conter ameaça catastrófica ou de perda de controle iminente; a ordem vale até a revisão judicial
  • Desenvolvedores reportariam a cada trimestre quanto do poder computacional vai para pesquisa automatizada de IA
  • Prazo para reportar a maioria dos incidentes críticos cairia de 15 dias para 48 horas, com 24 horas mantidas para ameaça catastrófica iminente
  • Autoridade para limitar o autoaperfeiçoamento recursivo da IA, sem teto imediato; qualquer limite teria prazo e seria revisto periodicamente
  • Tentativas de roubo de pesos de modelos e casos de perda de controle deveriam ser reportados mesmo sem morte ou lesão corporal
  • Recomendações não são lei; a GovOps espera que orientem o debate quando o Legislativo voltar, no mês que vem

O gabinete do governador Gavin Newsom divulgou na quarta-feira (18) um relatório da Agência de Operações Governamentais da Califórnia (GovOps) que recomenda padrões de segurança obrigatórios para desenvolvedores de IA de fronteira, fixados pelo estado. Verificadores independentes teriam acesso total às pessoas e informações necessárias. Se não conseguirem atestar a conformidade, o estado decidiria se ordena medidas corretivas, contestáveis na Justiça antes de valerem.

Para a GovOps, o desligamento completo é a última linha de defesa. O protocolo teria de testar se o modelo tenta bloquear a ordem, por exemplo copiando os próprios pesos, e de dizer como o desenvolvedor lidaria com essa falha. Após um desligamento real, o Escritório de Serviços de Emergência da Califórnia (Cal OES) elaboraria lições para reduzir falhas futuras.

A GovOps cita o incidente da OpenAI com a Hugging Face como caso que o limite atual de 10^26 operações de treino não capturou, e defende tratar como de fronteira modelos com ações de risco catastrófico, mesmo abaixo desse limite. Não trata de responsabilidade civil e não se detém em danos que a SB 53 não cita, embora diga que a avaliação terá de crescer para incluir a segurança infantil. Em pesos abertos, o desligamento de emergência pode ser inviável, já que a empresa não controla cópias implantadas por terceiros.

Fontes primárias

California Government Operations Agency (relatório ao governador)

AI Safety in 2026 and Beyond — Recommendations for Legislative Enhancements to California's AI Safety Laws

Relatório da Government Operations Agency ao governador, datado de 16 de novembro de 2026, com recomendações legislativas. Propõe que o estado, e não as empresas, fixe padrões-base obrigatórios para desenvolvedores de IA, com verificação independente contínua por organizações de verificação (IVOs). Sobre desligamento de emergência, diz que cada grande desenvolvedor de fronteira deve manter um Risk Containment Protocol (RCP), testado e verificado por IVO, que demonstre capacidade de intervir em diversos níveis (computação, agentes, acesso interno, implantação), e não 'um único interruptor on-off'. O RCP deve prever falhas do próprio desligamento, como um modelo que copie seus pesos para bloquear a ordem. Se houver ameaça iminente e o desenvolvedor recusar conter o perigo, o estado teria autoridade para ordenar desligamento emergencial imediato, com contestação e pedido de liminar pelo desenvolvedor. O relatório diz que o 'kill switch' não captura a abordagem em camadas e que o desligamento completo é a última linha de defesa. Também recomenda limitar o desenvolvimento e uso de autoaperfeiçoamento recursivo (RSI), cenário em que um modelo projeta seu sucessor sem intervenção humana.

Governor of California (comunicado oficial)

Governor Newsom's nation-leading AI safety framework is getting even stronger as California releases next steps on mandatory safety standards and oversight

Comunicado de 18 de novembro de 2026 do governador Gavin Newsom anunciando novas recomendações para padrões obrigatórios de segurança em IA, supervisão independente de modelos poderosos, autoridade de desligamento de emergência para sistemas perigosos e limites a IA que cria versões mais poderosas de si mesma. Segundo o texto, as recomendações propõem que o estado fixe padrões-base para todas as empresas de IA, com testes e verificação independentes em todas as etapas de treino, desenvolvimento e implantação; que as empresas desenvolvam protocolos verificados de contenção de risco para desligar modelos, dando ao estado autoridade para ordenar desligamento imediato em emergência; e que o estado possa limitar o desenvolvimento e o uso de autoaperfeiçoamento recursivo (RSI). O comunicado diz que o relatório completo está linkado no texto e cita o secretário da Government Operations Agency, Nick Maduros: 'Recent events have made it clear that more oversight and transparency are urgently needed.'

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.