Pesquisadores da Anthropic alertam para risco de extinção por IA
Evan Hubinger, líder de alinhamento da Anthropic, diz que o risco dos modelos atuais é baixo mas estima em mais de 10% a chance de uma superinteligência por auto-aperfeiçoamento recursivo matar todos os humanos até o fim da década, depois que o ex-colega Jacob Coxon renunciou acusando os laboratórios de apostarem com vidas humanas nessa corrida.
Pontos principais
- Jacob Coxon renunciou à Anthropic dizendo que os três anos em que fez pesquisa de pré-treinamento na OpenAI e na Anthropic mostraram que "nenhuma das duas empresas age com responsabilidade" e que ambas "correm direto para uma superinteligência autoaperfeiçoável e apostam com nossas vidas".
- Evan Hubinger, que lidera o time de alignment science da Anthropic, respondeu que "Jacob está certo" e que a empresa "realmente acredita genuinamente que a IA pode matar todos os humanos", com risco pessoal estimado em mais de 10% na próxima década.
- Hubinger fez uma ressalva: o risco dos modelos atuais é baixo, segundo ele; o que o preocupa é uma superinteligência por auto-aperfeiçoamento recursivo, que avança "mais rápido do que esperávamos" conforme o segundo Relatório de Risco da Anthropic, publicado em 14 de agosto sob sua Responsible Scaling Policy.
- Ainda segundo Hubinger, a Anthropic "está se esforçando ao máximo", mas "ainda não tem um plano" para resolver o alinhamento de uma superinteligência e "não está claramente no caminho" para consegui-lo.
- Coxon citou o ataque à Hugging Face como um sinal de alerta que tornou mais viáveis acordos de ritmo entre laboratórios dos EUA, mas disse não ver o setor no caminho para evitar uma corrida global.
- O debate sobre riscos existenciais, conhecido como 'p(doom)', ganhou força entre legisladores americanos.
- O senador Bernie Sanders propôs o banimento da superinteligência e convocou briefings sobre o tema.
- A polêmica ocorre enquanto a Anthropic se prepara para um IPO com valuation estimado em 2 trilhões de dólares.
- Figuras como Geoffrey Hinton e Elon Musk já haviam manifestado preocupações similares sobre o desenvolvimento da tecnologia.
O setor de inteligência artificial enfrenta um debate interno sobre riscos existenciais depois que Jacob Coxon renunciou à Anthropic. Em um tópico no X, ele disse ter passado três anos em pesquisa de pré-treinamento na OpenAI e na Anthropic e concluído que "nenhuma das duas empresas age com responsabilidade": segundo ele, ambas "correm direto para uma superinteligência autoaperfeiçoável e apostam com nossas vidas". Coxon citou o ataque à Hugging Face como um sinal de alerta que tornou mais viáveis acordos de ritmo entre laboratórios americanos, mas disse não ver o setor no caminho para evitar uma corrida global.
Evan Hubinger, que lidera o time de alignment science da Anthropic, confirmou publicamente o alerta do ex-colega. Ele fez, porém, uma distinção que a repercussão inicial do caso não capturou: o risco que atribui aos modelos atuais é baixo; o que o preocupa é uma superinteligência surgida de auto-aperfeiçoamento recursivo, que, segundo o segundo Relatório de Risco da Anthropic, divulgado em 14 de agosto sob a Responsible Scaling Policy da empresa, está avançando mais rápido do que a companhia esperava. É a esse cenário futuro, não ao uso corrente da tecnologia, que se refere a chance superior a 10% de catástrofe na próxima década. Hubinger acrescentou que a Anthropic "está se esforçando ao máximo", mas ainda não tem um plano para resolver esse alinhamento.
A repercussão dessas falas atingiu o cenário político em Washington, onde legisladores de ambos os partidos, incluindo Bernie Sanders e Ted Cruz, buscam mecanismos de regulação e maior supervisão sobre os laboratórios de IA. O debate ganha contornos de urgência à medida que a Anthropic se prepara para sua oferta pública inicial (IPO), levantando incertezas sobre como a empresa abordará esses riscos durante o road show com investidores de Wall Street. Essas declarações ecoam preocupações anteriores de Geoffrey Hinton e Elon Musk sobre a segurança dos modelos de superinteligência em desenvolvimento.
Fontes primárias
Thread de renúncia da Anthropic
Coxon anuncia que renunciou à Anthropic após três anos em pesquisa de pré-treinamento na OpenAI e na Anthropic, dizendo que nenhuma das duas empresas age com responsabilidade: 'estão correndo direto para uma superinteligência autoaperfeiçoável e apostando com nossas vidas'. No restante do tópico argumenta que sistemas futuros poderão 'hackear qualquer coisa, revolucionar qualquer campo da noite para o dia e adquirir poder e recursos reais', que 'as pessoas que constroem IA acreditam genuinamente que ela pode nos matar até o fim da década', e que na Anthropic especificamente 'os riscos são bem compreendidos, mas estão presos numa corrida para chegar primeiro' por acreditarem que nenhum concorrente agirá com responsabilidade. Pede que pesquisadores do setor considerem como serão de fato os próximos anos e cobrem condições diferentes de desenvolvimento, defendendo que buscar um 'speedrun' do alinhamento exigiria confiança extraordinária de que não há trajetórias melhores disponíveis.
Resposta ao tópico de renúncia de Jacob Coxon
Hubinger, que lidera o time de alignment science da Anthropic, corrobora publicamente o alerta de Coxon: 'Jacob está certo aqui — nós realmente acreditamos genuinamente que a IA pode matar todos os humanos! Pessoalmente acho que é >10% na próxima década.' Acrescenta que considera a Anthropic empenhada, mas sem um plano para resolver o alinhamento de uma superinteligência: 'a Anthropic está se esforçando ao máximo, mas ainda não temos um plano para resolver o alinhamento para superinteligência e não estamos claramente no caminho para isso.'