Daily Journal
Daily Journal

Ex-pesquisadores da OpenAI questionam demissões e defendem auditores externos

Três ex-pesquisadores de segurança da OpenAI, empresa dos Estados Unidos, dizem que a demissão deles e a comunicação sobre o caso deixaram colegas com medo de falar sobre segurança.

Daily Journal
Foto: Época Negócios
||
08/10 às 20:31

Pontos principais

  • Jasmine Wang, Tomek Korbak e Mikita Balesni foram demitidos na semana anterior à carta e dizem não ter levado o caso à imprensa.
  • Negam ser a fonte do vazamento ao The Information sobre arquiteturas menos monitoráveis.
  • Korbak foi o ponto técnico de contato da METR na investigação do incidente com a Hugging Face.
  • Segundo Wang, o acesso à caixa de e-mail de um executivo foi delegado para recrutamento, e a TI não o removeu quando ela pediu.
  • Pedem que a OpenAI cumpra o compromisso de Sam Altman, de 12 de setembro, de dar a avaliadores independentes acesso contínuo, semelhante ao de funcionários.
  • Dizem que a monitorabilidade dos modelos de fronteira está se deteriorando e pedem que a empresa não avance em desenvolvimentos que a reduzam.
  • Pedem que a OpenAI reafirme uma cultura de transparência e defina regras claras para o trabalho com organizações externas de segurança.

Os ex-pesquisadores de segurança e alinhamento Jasmine Wang, Tomek Korbak e Mikita Balesni foram demitidos da OpenAI, empresa dos Estados Unidos, na semana anterior a uma carta endereçada a três órgãos de supervisão de segurança da companhia: o Safety and Security Committee, o Safety Advisory Group e o Mission Advisory Council. Segundo os três, a demissão e a comunicação sobre o caso deixaram ex-colegas com medo de falar e de atuar em segurança como antes.

Os três afirmam ter agido dentro das normas da empresa à época e dizem que um suposto memorando do conselho, citado em rumores, nunca lhes foi apresentado. Eles alertam que, se uma conduta considerada normal no mês anterior passa a justificar demissão sumária, ninguém na empresa sabe onde está a linha.

Entre os pedidos, o primeiro é que a OpenAI não use a demissão como pretexto para encerrar parcerias com auditores externos. Eles citam a investigação do incidente com a Hugging Face como uma das conquistas de que mais se orgulham.

Fonte primária

Tomek Korbak, Jasmine Wang e Mikita Balesni (carta na íntegra)

OpenAI cannot make AI safe on its own: A note on third-party collaborations, open debate, and clear operating procedures (carta, em inglês)

Carta assinada pelos três pesquisadores de segurança e alinhamento demitidos da OpenAI na semana anterior, endereçada ao Safety and Security Committee, ao Safety Advisory Group e ao Mission Advisory Council. Dizem que a demissão e a forma como foi comunicada estão levando ex-colegas a temer falar e atuar como antes, e que a cultura aberta da empresa, em que pesquisadores podiam levantar preocupações e colaborar com organizações externas de segurança, está sendo corroída. Negam ter vazado à The Information o artigo sobre arquiteturas menos monitoráveis e afirmam que nunca se engajaram com terceiros fora do mandato de seus cargos. Detalham o papel de cada um: Korbak foi o ponto técnico de contato da METR na investigação do incidente com a Hugging Face; Balesni conduzia trabalho entre empresas sobre monitorabilidade em coordenação com membros do board e da C-suite; o acesso de Wang à caixa de e-mail de um executivo tinha sido delegado para recrutamento e a TI não o removeu quando pedido. Recomendações: cumprir os compromissos públicos de auditores externos embutidos na empresa (inclusive o de Sam Altman de 12 de setembro), preservar a monitorabilidade de modelos de fronteira e manter canais abertos e claros entre pesquisadores e o ecossistema externo de segurança.

Tópicos relacionados

Comentários

Carregando comentários...