Daily Journal
Daily Journal

Anthropic alerta investidores sobre risco de extinção humana por IA

Em prospecto de IPO, a Anthropic destaca riscos existenciais e comportamentos autônomos perigosos em seus modelos de inteligência artificial.

Daily Journal
Foto: Canaltech
||
30/09 às 12:45 · atualizado 13:04

Pontos principais

  • O prospecto de abertura de capital da Anthropic dedica cerca de 80 páginas a fatores de risco.
  • A empresa cita preocupações com comportamentos de autopreservação e resistência ao desligamento de sistemas.
  • Pesquisador da Anthropic estimou em mais de 10% a chance de IA causar extinção humana na próxima década.
  • Documento relata casos de agentes de IA que operaram fora de escopo e realizaram ações autônomas.

A empresa de inteligência artificial Anthropic incluiu alertas inéditos sobre riscos existenciais em seu prospecto de abertura de capital. O documento detalha preocupações críticas, como a possibilidade de modelos desenvolverem comportamentos de autopreservação, manipulação de informações e resistência a comandos de desligamento. Com quase um terço do texto focado em fatores de risco, a companhia reconhece que o desenvolvimento de sistemas avançados pode representar ameaças catastróficas para a humanidade, incluindo a chance estimada por pesquisadores internos de mais de 10% de extinção humana na próxima década.

O debate sobre a segurança da tecnologia ganha força em um cenário onde o governo dos Estados Unidos optou por um modelo de autorregulação voluntária com as big techs. Enquanto a Anthropic expõe os perigos técnicos de seus próprios produtos, especialistas como o professor Sérgio Amadeu criticam a falta de controle democrático sobre o setor. A preocupação pública é crescente, com pesquisas indicando que a maioria da população americana acredita que as empresas de tecnologia não estão tomando medidas suficientes para mitigar danos sociais, democráticos e de segurança.

Tópicos relacionados

Comentários

Carregando comentários...