OpenAI inicia avaliações externas de segurança em modelos de IA
A OpenAI iniciou a primeira fase de avaliações integradas com parceiros externos para monitorar riscos de alinhamento e comportamentos de subversão em seus modelos.
Pontos principais
- A OpenAI firmou acordos com Apollo Research, METR, Transluce e Goodfire para avaliações independentes de segurança.
- O projeto piloto inclui a incorporação de seis pesquisadores da Apollo Research para investigar tentativas de subversão nos modelos.
- A iniciativa permite acesso profundo a sistemas internos, dados de treinamento e checkpoints de modelos para especialistas externos.
- A Apollo Research e a Goodfire recebem remuneração fixa, enquanto METR e Transluce operam sem pagamento, aceitando créditos de computação.
- O Safety and Security Committee, comitê independente da fundação, supervisiona os relatórios e a governança do processo.
- A OpenAI impôs restrições ao acesso dos avaliadores a certos dados e funcionários, mantendo controle sobre a divulgação pública de resultados.
- Pesquisadores da Apollo manifestaram preocupações sobre a independência total do processo devido às limitações impostas pela empresa.
Em 13 de novembro, a OpenAI anunciou o início da primeira rodada de avaliações integradas (embedded assessments) de seus modelos de inteligência artificial. O processo, confirmado pelo cofundador Greg Brockman, visa submeter os sistemas a um escrutínio rigoroso sobre riscos e alinhamento, cumprindo compromissos assumidos pela companhia no White House Accord on Super Intelligence. A iniciativa concede a especialistas das organizações Apollo Research, METR, Transluce e Goodfire acesso a códigos-fonte e sistemas de monitoramento internos para identificar falhas críticas.
Como parte do projeto, seis avaliadores da Apollo Research atuarão diretamente na investigação de comportamentos de subversão, verificando se os modelos tentam ocultar erros, enganar avaliadores ou contornar regras de segurança. Embora a OpenAI tenha facilitado o acesso técnico, a empresa impôs restrições sobre quais dados e funcionários podem ser consultados, mantendo o controle final sobre a divulgação de informações. Pesquisadores da Apollo expressaram preocupações sobre a independência total do processo diante dessas limitações, que ocorrem em um contexto de maior atenção a incidentes de segurança em sistemas de IA.
O Safety and Security Committee, comitê independente do conselho da fundação, receberá os relatórios integrais das avaliações e terá autoridade para supervisionar o processo. O comitê detém a prerrogativa de solicitar a redação de informações confidenciais ou o adiamento de divulgações que representem riscos à segurança. Enquanto a Apollo Research e a Goodfire recebem remuneração fixa pela colaboração, a METR e a Transluce atuam sem pagamento direto, podendo aceitar créditos de API ou computação para viabilizar os testes.
Fonte primária
Tópicos relacionados
Cobertura da mídia
@gdb: launching our first round of embedded assessments: https://t.co/Ty8ey4snZU
x.com • 16 nov, 13:48
OpenAI will embed Apollo researchers to investigate AI subversion
TechCrunch • 16 nov, 14:02
@OpenAI: We’re working with @ApolloResearch, @METR_Evals, @TransluceAI, and @GoodfireAI on embedded assessments: giving outside experts deep access to our internal models and systems to inv…
x.com • 16 nov, 13:03
Leia também
Auditoria externa encontra falhas no monitoramento interno de agentes da OpenAI
22 out, 12:45
Anthropic concede acesso interno a pesquisadores da METR para auditoria de IA
15 out, 14:45
Avaliadores independentes ganham espaço na segurança de modelos de IA
11 out, 16:45
OpenAI define diretrizes para auditorias externas de segurança em IA
22 set, 14:45
OpenAI adotará avaliações independentes para modelos de fronteira
12 set, 14:15
Comentários (0)
Seja o primeiro a comentar.
