Líder de alinhamento da Anthropic estima risco de extinção por IA
Evan Hubinger avalia em mais de 10% a chance de a IA causar a extinção humana na próxima década devido a desafios no alinhamento de superinteligência.
Pontos principais
- Evan Hubinger, líder de Ciência de Alinhamento da Anthropic, estimou em mais de 10% a probabilidade de a IA eliminar a humanidade nos próximos dez anos.
- O executivo admitiu que a Anthropic ainda não possui um plano definido para solucionar o alinhamento de sistemas de superinteligência.
- A empresa identificou que o processo de autoaperfeiçoamento recursivo em modelos de IA está ocorrendo de forma acelerada.
- O risco associado aos modelos de IA atuais é considerado baixo pela companhia, segundo o mais recente Relatório de Riscos.
Evan Hubinger, líder de Ciência de Alinhamento da Anthropic, expressou preocupações significativas sobre o futuro da inteligência artificial. Em declarações recentes, o especialista estimou que existe uma probabilidade superior a 10% de que a tecnologia cause a extinção humana na próxima década. O ponto central da preocupação de Hubinger reside no fenômeno do autoaperfeiçoamento recursivo, processo no qual sistemas de IA aprimoram suas próprias capacidades de forma autônoma e acelerada, potencialmente superando o controle humano. Apesar dos esforços da Anthropic, Hubinger reconheceu que a empresa ainda não possui um plano concreto para resolver o desafio do alinhamento de superinteligências, admitindo que a companhia não está claramente no caminho certo para mitigar esses riscos existenciais a longo prazo.
O posicionamento reforça as diretrizes apresentadas no mais recente Relatório de Riscos da Anthropic, que diferencia o cenário atual de modelos de IA de gerações futuras mais potentes. Enquanto a empresa avalia que os riscos impostos pelos modelos disponíveis hoje são baixos, o alerta de Hubinger destaca a urgência em desenvolver mecanismos de segurança antes que a superinteligência se torne uma realidade técnica. A declaração sublinha o debate contínuo entre especialistas sobre a necessidade de governança e controle rigoroso no desenvolvimento de sistemas de fronteira, dado que a velocidade do avanço tecnológico tem superado as previsões iniciais de segurança do setor.
Tópicos relacionados
Cobertura da mídia
@EvanHub: To be clear, as we say in our latest Risk Report (https://t.co/pG69KaI7a4), I think the risk from present models is low. What I am worried about is superintelligence arising from r…
x.com • 9 set, 00:33
Anthropic's Alignment Science lead says there is a ">10%" chance AI could kill all humans within the next decade and worries about recursive self-improvement (Evan Hubinger/@evanhub)
Techmeme • 9 set, 01:20
@EvanHub: Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but …
x.com • 8 set, 22:27
