Anthropic diz que pode atingir em breve limiar de autoaperfeiçoamento da IA

Amendment No. 1 ao Formulário S-1 (S-1/A) — Anthropic, PBC

Na emenda ao S-1, a Anthropic afirma que seu uso crescente de IA para acelerar o próprio P&D pode fazer as capacidades dos modelos avançarem mais rápido do que sua capacidade de desenvolver medidas de segurança, alinhamento e segurança correspondentes. Diz que, no passado, não identificou uma aceleração significativa de seu ritmo de desenvolvimento até que ela tivesse ocorrido, e que suas “estimativas internas e expectativas sobre modelos futuros, e não sobre os modelos atuais, indicam que podemos atingir em breve” a definição de “progresso dramaticamente acelerado atribuível à IA” de sua Responsible Scaling Policy. Ressalva que não designou nenhum modelo atual como acima desse limiar e que segue avaliando os dados; diz que está avaliando as implicações de atingir o limiar de capacidade de P&D em IA e que publicará novos relatórios. Sobre o chamado autoaperfeiçoamento recursivo, reconhece que usar IA para construir IA “pode representar um risco considerável de segurança”, e afirma não antecipar poder usar Claude para projetar e construir gerações sucessivas de modelos de fronteira de forma totalmente autônoma “sem supervisão ou compreensão humana significativa”. Por isso, diz que está considerando atualizações da RSP “para manter humanos no controle do desenvolvimento de modelos de fronteira”. Entre as medidas já adotadas cita o atraso de lançamentos e a limitação da disponibilidade inicial, como com o Mythos via Project Glasswing.