Daily Journal
Daily Journal

OpenAI adota framework de segurança inspirado na aviação e energia nuclear

A OpenAI implementa uma estrutura de documentação de segurança baseada em setores críticos para regular o treinamento de modelos de IA de fronteira.

Daily Journal
Foto: x.com
||
29/09 às 03:40, atualizado 08:45

Pontos principais

  • A OpenAI adotou um framework estruturado de 'caso de segurança' para governar o treinamento de modelos de fronteira, inspirado em práticas da aviação e energia nuclear.
  • A empresa defende que a documentação estruturada e baseada em evidências deve se tornar um requisito obrigatório na nova era da inteligência artificial.
  • As recomendações técnicas incluem treinamento de alinhamento, monitoramento de dados de RL e uso de avaliações offline para detectar comportamentos de metagaming.
  • O protocolo propõe pareceres divergentes de equipes independentes, poder de veto para a liderança e controles que interrompem execuções em caso de falhas.
  • Em incidentes de desalinhamento, as diretrizes exigem análise de causa-raiz, postmortem, testes de regressão e notificação de terceiros afetados.
  • A OpenAI afirma que as práticas estão em fase de implementação e devem evoluir nas próximas semanas conforme a estrutura é consolidada.

A OpenAI apresentou recomendações iniciais para casos de segurança que documentem riscos antes da continuidade de treinos de aprendizado por reforço em modelos de fronteira. A nova metodologia adota um framework estruturado inspirado em protocolos de segurança rigorosos utilizados nos setores de aviação e energia nuclear, visando estabelecer um padrão de governança para a inteligência artificial.

No texto, a empresa descreve esses casos abrangentes e baseados em evidências como uma meta em construção. As orientações técnicas e processuais incluem desde o monitoramento de dados para evitar manipulações até a exigência de pareceres divergentes e poder de veto para a liderança, garantindo que as salvaguardas sejam verificadas antes de cada etapa do treinamento. A OpenAI afirma que as práticas estão em implementação e devem evoluir nas próximas semanas.

Fonte primária

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.