SemiAnalysis lança GDPx para medir capacidades de agentes de IA
A SemiAnalysis lançou o GDPx, benchmark de 206 tarefas em 11 domínios técnicos, em que o melhor modelo, o Claude Opus 5.5, atinge só 12%.
Pontos principais
- O GDPx tem 206 tarefas em 11 domínios, criadas com 14 parceiros de dados especializados.
- Nota: pass@1 em três tentativas, com limite padrão de 8 horas por tarefa e domínios de peso igual.
- Claude Opus 5.5 lidera com 12,0%, seguido por Gemini 4 Carbon (10,9%) e GPT-6 Astra (9,6%).
- Muse Wonder Full é, segundo a SemiAnalysis, o melhor modelo disponível em cibersegurança, por margem relevante.
- Em finanças, nenhum modelo resolveu a tarefa pública em 25 tentativas.
- Em trading quantitativo, 70 das 111 execuções avaliadas ficaram abaixo da estratégia de referência.
A SemiAnalysis anunciou o GDPx para medir capacidades de agentes de IA em áreas onde a empresa espera maior retorno: design de chips, cibersegurança, biologia, finanças, trading quantitativo, engenharia de software, ciência de materiais, design de hardware, RSI, jurídico e alinhamento. Segundo a SemiAnalysis, a aposta é que o primeiro trilhão de receita da IA se concentre nesses setores, por isso o benchmark deixa de fora governo, imobiliário e seguros de propósito.
Os classificadores de segurança pesam na leitura do ranking: a SemiAnalysis diz que rebaixam a nota geral de Opus 5.5 e GPT-6 Astra nos domínios de cibersegurança, biologia e alinhamento. A própria empresa admite que o ranking condiz com sua impressão subjetiva, sem validação rigorosa.
A SemiAnalysis também critica o GDPval, benchmark da OpenAI lançado em setembro de 2025, por ter tarefas sem ambiente de trabalho e rubricas ruidosas. Segundo a empresa, avaliadores humanos concordam em 71% dos casos no subconjunto gold do GDPval.
Fontes primárias
GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains
GDPx é um benchmark de capacidades agênticas em 11 domínios que, segundo os autores, concentram o valor econômico da IA: RSI, design de hardware, cibersegurança, biologia, finanças, jurídico, trading quantitativo, design de chips, engenharia de software, ciência de materiais e alinhamento. Setores como governo, imobiliário e seguros ficaram de fora de propósito. São 206 tarefas feitas com 14 parceiros de dados especializados, em ambientes simulados, com limite de 8 horas por tarefa. Pontuação v1.0 (pass@1 em três tentativas, domínios com peso igual): Claude Opus 5.5 lidera com 12,0%; Gemini 4 Carbon tem 10,9% e GPT-6 Astra, 9,6%. Os autores dizem que Opus 5.5 e GPT-6 Astra têm a pontuação geral rebaixada por classificadores de segurança nos domínios de cyber, biologia e alinhamento. Finanças e jurídico zeraram para quase todos os modelos. O texto critica o GDPval, da OpenAI, por tarefas sem ambiente de trabalho e rubricas ruidosas, com concordância entre avaliadores humanos de 71% no subconjunto gold.
GDPx — leaderboard v1.0
Leaderboard do GDPx v1.0, com 11 domínios, 14 parceiros e 206 tarefas. Na tabela de pontuação GDPx: Claude Opus 5.5 12,0; Gemini 4 Carbon 10,9; GPT-6 Astra 9,6; Muse Wonder Full 9,0; Claude Fable 5.1 8,5; GPT 6.1 Sol 8,4; Claude Sonnet 5.5 8,2; Gemini 4 Argon 7,3; Muse Wonder 6,8; DeepSeek 4.1 Flash 1017 5,4; GPT-6 Luna 5,1; Grok 4.7 3,9; GLM 5.3 2,7. A página também traz o gráfico de custo por tarefa contra pontuação, com filtro por domínio.
Cobertura da mídia
SemiAnalysis launches GDPx, an agentic capability benchmark measuring 11 domains, including chip design, cybersecurity, and RSI; Opus 5.5 tops with a 12% score (SemiAnalysis)
Techmeme • 2 nov, 02:20
@SemiAnalysis_: Today we’re releasing GDPx, a benchmark for measuring agentic capabilities across the most valuable domains.
x.com • 1 nov, 23:06