IAs da Anthropic resolvem 97% de tarefa de alinhamento; humanos ficam em 23%
Nove cópias do Claude Opus 4.6 superaram dois pesquisadores humanos em cinco dias e US$18 mil de custo computacional.
Pontos principais
- Nove cópias do Claude Opus 4.6 receberam ambientes isolados e um fórum compartilhado para melhorar técnicas de alinhamento
- Em cinco dias e 800 horas acumuladas, as IAs fecharam 97% da lacuna de desempenho (PGR de 0,97)
- Dois humanos, com sete dias, fecharam apenas 23% (PGR de 0,23)
- Custo total de aproximadamente US$18 mil em tokens e treinamento, ou US$22 por hora de pesquisa automatizada
- As IAs descobriram abordagens de alinhamento que os humanos não haviam considerado
A Anthropic conduziu um experimento em que nove cópias do Claude Opus 4.6, seu modelo mais avançado, receberam cada uma um ambiente isolado de programação e um fórum compartilhado. A tarefa: melhorar técnicas de supervisão escalável — um proxy para garantir que IAs mais inteligentes que humanos continuem seguindo instruções.
Em cinco dias e US$18 mil em custos computacionais, as IAs resolveram 97% do problema proposto (PGR de 0,97). Dois pesquisadores humanos, com sete dias, resolveram apenas 23%. Os pesquisadores automatizados também descobriram abordagens que os humanos não haviam considerado, ampliando o espaço de exploração em pesquisa de alinhamento.
Comentários
Carregando comentários...