Artificial Analysis lança Intelligence Index v5 com novos benchmarks
A Artificial Analysis lançou o Intelligence Index v5, com dois benchmarks novos e base majoritariamente privada, e o Claude Opus 5.5 (max) lidera o ranking.
Pontos principais
- FrontierCode 2.0, benchmark privado de programação da Cognition, e Terminal-Bench-Science, com 70 tarefas de pesquisa científica em terminal, são os dois novos benchmarks.
- HLE-Diamond substitui o Humanity's Last Exam: são 1.000 perguntas, metade de raciocínio e metade de conhecimento, do Center for AI Safety e da Scale AI.
- AA-Omniscience v1.1 remove perguntas saturadas ou de conjunto público e acrescenta novas; o CritPt v2 agora usa um subconjunto privado de 40 questões, com ferramenta de execução de código.
- Claude Opus 5.5 (max) lidera com 58 pontos, à frente de GPT-6 Astra (max, 57) e GPT-6.1 Sol (max, 55); Gemini 4 Argon (high) vem em seguida, com 50.
- Entre os modelos de pesos abertos, a distância para o líder subiu de 3 para 12 pontos: Kimi K3.1 Pro, sem pesos liberados, marca 46, e o melhor com pesos liberados, DeepSeek V4.1 Flash 1017 (max), marca 32.
- Entre os dez modelos mais bem colocados, o custo por tarefa do índice vai de US$ 0,96 (GPT-6.1 Terra, max) a US$ 13,04 (Claude Fable 5.1, max).
- O esforço de raciocínio pesa mais: com esforço baixo, o Claude Opus 5.5 marca 35 pontos; no máximo, marca 58, a cerca de dez vezes o custo por tarefa (US$ 0,98 contra US$ 10,04).
- Junto com o índice, a empresa lança o Progress Index v1, que coloca modelos lançados desde novembro de 2022 em uma escala contínua; o Intelligence Index segue como medida principal da inteligência atual.
A Artificial Analysis chama a v5 de sua maior atualização desde a v4, lançada em janeiro. Pela primeira vez, 60% do índice se baseia em avaliações com conjuntos de teste privados ou respostas retidas. No FrontierCode 2.0, por exemplo, as tarefas permanecem privadas para evitar contaminação.
A própria empresa afirma que a v5 deixa espaço para progresso nas nove avaliações e que nenhum modelo as lidera todas: o Claude Opus 5.5 lidera três, e outros cinco modelos lideram as demais. Todos os modelos medidos geraram mais tokens de saída por tarefa que na v4.3, com a mediana subindo de 35 mil para 59 mil.
Fonte primária
Cobertura da mídia
FrontierCode 2.0 é a nova versão do benchmark privado de programação da Cognition
X • 28 out, 09:00
Artificial Analysis anuncia o Intelligence Index v5, com dois novos benchmarks
X • 28 out, 09:00
Artificial Analysis launches the Intelligence Index v5, with new coding and science benchmarks, built on private datasets; Claude Opus 5.5 (max) leads at 58 (@artificialanlys)
Techmeme • 28 out, 09:55