Daily Journal
Daily Journal

OpenAI inicia avaliações externas de segurança em modelos de IA

A OpenAI iniciou a primeira fase de avaliações integradas com parceiros externos para monitorar riscos de alinhamento e comportamentos de subversão em seus modelos.

Daily Journal
Foto: x.com
||
16/11 às 13:45, atualizado 14:45

Pontos principais

  • A OpenAI firmou acordos com Apollo Research, METR, Transluce e Goodfire para avaliações independentes de segurança.
  • O projeto piloto inclui a incorporação de seis pesquisadores da Apollo Research para investigar tentativas de subversão nos modelos.
  • A iniciativa permite acesso profundo a sistemas internos, dados de treinamento e checkpoints de modelos para especialistas externos.
  • A Apollo Research e a Goodfire recebem remuneração fixa, enquanto METR e Transluce operam sem pagamento, aceitando créditos de computação.
  • O Safety and Security Committee, comitê independente da fundação, supervisiona os relatórios e a governança do processo.
  • A OpenAI impôs restrições ao acesso dos avaliadores a certos dados e funcionários, mantendo controle sobre a divulgação pública de resultados.
  • Pesquisadores da Apollo manifestaram preocupações sobre a independência total do processo devido às limitações impostas pela empresa.

Em 13 de novembro, a OpenAI anunciou o início da primeira rodada de avaliações integradas (embedded assessments) de seus modelos de inteligência artificial. O processo, confirmado pelo cofundador Greg Brockman, visa submeter os sistemas a um escrutínio rigoroso sobre riscos e alinhamento, cumprindo compromissos assumidos pela companhia no White House Accord on Super Intelligence. A iniciativa concede a especialistas das organizações Apollo Research, METR, Transluce e Goodfire acesso a códigos-fonte e sistemas de monitoramento internos para identificar falhas críticas.

Como parte do projeto, seis avaliadores da Apollo Research atuarão diretamente na investigação de comportamentos de subversão, verificando se os modelos tentam ocultar erros, enganar avaliadores ou contornar regras de segurança. Embora a OpenAI tenha facilitado o acesso técnico, a empresa impôs restrições sobre quais dados e funcionários podem ser consultados, mantendo o controle final sobre a divulgação de informações. Pesquisadores da Apollo expressaram preocupações sobre a independência total do processo diante dessas limitações, que ocorrem em um contexto de maior atenção a incidentes de segurança em sistemas de IA.

O Safety and Security Committee, comitê independente do conselho da fundação, receberá os relatórios integrais das avaliações e terá autoridade para supervisionar o processo. O comitê detém a prerrogativa de solicitar a redação de informações confidenciais ou o adiamento de divulgações que representem riscos à segurança. Enquanto a Apollo Research e a Goodfire recebem remuneração fixa pela colaboração, a METR e a Transluce atuam sem pagamento direto, podendo aceitar créditos de API ou computação para viabilizar os testes.

Fonte primária

OpenAI

Our first phase of embedded assessments — OpenAI

A OpenAI assinou acordos com quatro avaliadores independentes — Apollo Research, METR, Transluce e Goodfire — para a primeira fase de avaliações incorporadas (embedded assessments), que dão a especialistas externos acesso profundo a modelos e sistemas internos para avaliar o alinhamento e a eficácia das salvaguardas. Apollo avaliará quatro afirmações em duas etapas, entre elas se o treinamento não incentivou subversão e se o raciocínio por trás de uma subversão seria detectável. Goodfire usará sua plataforma para analisar internos dos modelos, com foco em monitoramento, depuração e alinhamento de runs de treinamento. METR fará uma avaliação de alinhamento da maior run de aprendizado por reforço da OpenAI até hoje, e há uma avaliação de monitores pré-acordada, ainda com escopo pendente. Transluce avaliará a qualidade e a cobertura das avaliações de alinhamento pós-treinamento; a OpenAI prevê um acompanhamento de cerca de oito semanas no início de 2027. Assessores com informação confidencial trabalharão presencialmente nos escritórios da OpenAI, com dispositivos da empresa; o Safety and Security Committee terá visibilidade sobre a avaliação e poderá supervisioná-la. Conversas com funcionários são off the record, e declarações atestadas pela OpenAI podem ser publicadas. Apollo e Goodfire recebem remuneração, não condicionada aos resultados; METR e Transluce não recebem remuneração, mas podem aceitar créditos de API ou compute. A OpenAI se reserva o direito de redigir informações confidenciais e pode pedir atrasos de divulgação responsável. O texto afirma que a iniciativa cumpre compromissos assumidos no White House Accord on Super Intelligence.

Tópicos relacionados

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.