Ex-pesquisador da Anthropic alerta para riscos existenciais da IA
Jacob Coxon deixou a Anthropic citando preocupações de que o desenvolvimento acelerado de IA possa resultar em cenários catastróficos para a humanidade.
Pontos principais
- Jacob Coxon pediu demissão da Anthropic por receio de danos existenciais causados pela IA.
- Estimativas internas de funcionários sugerem chance superior a 50% de desfecho catastrófico sem controle.
- Outros especialistas em segurança da empresa avaliam o risco de catástrofe em pelo menos 10%.
- Coxon atuava nas fases iniciais de treinamento de modelos de linguagem na companhia.
- O pesquisador apontou que a cultura da Anthropic é mais transparente que a da OpenAI.
O ex-pesquisador da Anthropic, Jacob Coxon, anunciou sua saída da empresa após manifestar preocupações sobre a segurança no desenvolvimento de inteligência artificial. Segundo Coxon, que atuava nas etapas iniciais de treinamento de modelos, existe um temor interno de que a tecnologia possa causar danos existenciais caso não haja uma desaceleração coordenada no setor. Relatos indicam que alguns colaboradores da companhia estimam em mais de 50% a probabilidade de um desfecho catastrófico, enquanto outros especialistas avaliam o risco em pelo menos 10%.
Apesar das críticas aos riscos da tecnologia, Coxon destacou que a cultura da Anthropic é mais transparente do que a da OpenAI, onde trabalhou anteriormente. O depoimento reforça o debate global sobre os perigos da AGI e a necessidade de governança rigorosa. A saída do pesquisador evidencia as tensões internas em empresas de ponta, que buscam equilibrar a inovação acelerada com a mitigação de ameaças existenciais que podem impactar a sociedade a longo prazo.
Comentários
Carregando comentários...