Ep. 042 - GDPx: The Benchmark for Frontier AI | Andrew Megalaa, Jordan Nanos, Max Kan

Jordan Nanos, Max Kan e Andrew Megalaa, da equipe de Tokenomics da SemiAnalysis, discutem a criação, a metodologia e os resultados do GDPx, um benchmark focado na avaliação de modelos de inteligência artificial de fronteira em 11 domínios especializados de alto retorno econômico, desenvolvido em parceria com 14 provedores de dados.

Bastidores do Lançamento e Calibração de Dificuldade

A equipe da SemiAnalysis finalizou as tarefas na quinta-feira anterior ao lançamento e só teve a visão consolidada da tabela de classificação (leaderboard) cerca de duas a quatro horas antes da publicação no domingo à noite. A urgência na publicação foi motivada pela expectativa de anúncios iminentes de modelos emblemáticos da OpenAI e da Anthropic (como o Fable 5.5).

Para viabilizar a avaliação a tempo, Andrew Megalaa desenvolveu a infraestrutura computacional sob um regime de sono polifásico, utilizando alertas automatizados do Claude para intervir caso as execuções falhassem. Como cada execução completa de tarefa somada ao processo de verificação (grading) pode levar até 24 horas, os parceiros inicialmente calibraram a dificuldade dos problemas com base em quatro modelos: GPT-6 Astra, Opus 5.5, DeepSeek 4.1 Flash, além de Argon e GLM 5.3. Modelos recém-lançados, como o Gemini 4 Carbon e o Muse Wonder Full (que não tinha API pública), só foram testados nas horas finais.

A Crise dos Benchmarks Públicos: Tarefas Difíceis vs. Injustas

Max Kan argumenta que grande parte dos benchmarks mais populares da indústria (como Terminal Bench 4, SWE-bench Pro e DeepSWE) apresenta falhas estruturais graves. O problema central decorre da inexperiência dos criadores na construção de avaliações (evals), ambientes de aprendizado por reforço (RL) e dados de treino, resultando em testes que se tornam difíceis não pela complexidade inerente, mas pela injustiça dos verificadores (verifiers):

• Injustiça no verificador: Em um problema de programação em que um engenheiro de software humano reconhece que tanto o "módulo A" quanto o "módulo B" resolvem legitimamente um bug, o avaliador automatizado frequentemente aceita apenas a implementação restrita ao módulo A. Quando o modelo adota o módulo B, o avaliador classifica a resposta como falha incorreta.
• Taxas de erro nos benchmarks: Auditorias internas de empresas de dados e testes da SemiAnalysis indicaram que até 50% a 60% das tarefas de avaliações conhecidas, como o Terminal Bench 4, estão tecnicamente quebradas, o que distorce a medição real de capacidades.

Para o GDPx, a SemiAnalysis rejeitou mais fornecedores de dados durante o controle de qualidade (QA com agentes) do que o total de 14 parceiros especializados aprovados.

Tese Econômica e os 11 Domínios de Fronteira

A SemiAnalysis baseia o GDPx na tese de que o primeiro trilhão de dólares em receita gerado por IA estará concentrado em setores capazes de absorver inteligência de fronteira crescente com alto retorno sobre o investimento (ROI). Tarefas rotineiras do dia a dia estão amplamente resolvidas e não exigirão modelos de ponta em 2027.

O benchmark cobre 11 domínios específicos:

1. Autoaperfeiçoamento recursivo (RSI)
2. Design de semicondutores / chips
3. Cibersegurança
4. Biologia
5. Finanças
6. Jurídico (Legal)
7. Trading quantitativo
8. Design de hardware
9. Ciência de materiais
10. Alinhamento (com dados fornecidos pela Fleet)
11. Engenharia de software

A Percepção de Especialistas e o Caso de Ciência de Materiais

Em diversas categorias, tarefas formuladas por especialistas de nível de doutorado (como Bryan, em ciência de materiais) surpreenderam os próprios autores quando submetidas aos modelos de fronteira. Em fluxos de trabalho avançados, o modelo Astra resolveu subtarefas com desempenho superior ao de referências publicadas do estado da arte na literatura científica.

Em termos de custo computacional, tarefas complexas de ciência de materiais que demandariam centenas ou milhares de dólares em horas de trabalho de pós-graduandos foram solucionadas por modelos consumindo entre US$ 10 e US$ 50 em tokens por tarefa. Devido a essa capacidade sobre-humana em certas tarefas isoladas, a equipe destacou que o conceito de "linha de base humana" (human baseline) perdeu o sentido prático em vários domínios de ponta.

Caso Real em Finanças: M&A e o Virtual Data Room (VDR)

Max Kan contrasta o método do GDPx com benchmarks anteriores (como o GDPval da OpenAI, que contratava especialistas da Mercor para criar exercícios hipotéticos de duas horas).

O parceiro de finanças do GDPx utilizou uma transação real de private equity na qual uma gestora adquiriu 62% de uma empresa familiar do setor de snacks por pouco mais de US$ 800 milhões:

• Ambiente completo: Foram inseridos cerca de 4.000 arquivos reais desanonimizados, distribuídos entre as salas de dados (deal rooms) da gestora de PE, do banco de investimento, da firma de auditoria contábil e do VDR da própria empresa-alvo.
• Linha do tempo dinâmica: O ambiente reproduz o estado exato dos arquivos no momento em que tarefas reais de analistas e associados foram solicitadas via e-mail.
• Modos de falha reais: Em uma das tarefas, o modelo falhou por não localizar um único e-mail específico de um sócio contábil determinando um ajuste nos números do quarto trimestre. No mercado real, ignorar essa instrução resultaria em demissão imediata ou repreensão severa.

Avaliação Binária vs. Avaliação Parcial (Contínua)

A pontuação no GDPx varia de acordo com a natureza da tarefa:

• Avaliação binária em finanças e jurídico: A entrega final de uma planilha de Quality of Earnings (QoE) em Excel com 50% das células corretas é pontuada como zero na escala binária, pois uma planilha semi-correta não tem utilidade profissional. Quando avaliados de forma binária, quase todos os modelos tiraram 0% em finanças (exceto o Gemini 4 Carbon, que acertou uma tarefa), subindo para a faixa de 30% a 50% apenas quando aplicada a pontuação parcial atômica por critério.
• Avaliação contínua em engenharia e chips: Em otimizações de PPA (potência, performance e área) em design de semicondutores, o modelo recebe pontuação fracionada contínua entre 0 (solução ingênua) e 1 (limite teórico máximo alcançável).

O Desempenho dos Modelos e o Impacto dos Filtros de Segurança

Os resultados do GDPx trazem diferenças conforme a aplicação de filtros em domínios sensíveis:

• Impacto dos classificadores de segurança: Modelos como GPT-6 Astra obtiveram pontuação de 0% em cibersegurança e quedas severas em biologia devido a recusas automáticas de segurança (safety classifiers). O Opus 5.5 e o Astra sofrem penalizações pesadas nesses domínios na tabela geral.
• Cibersegurança e o Muse Wonder Full: O modelo Muse Wonder Full (e sua variante Muse Wonder) destacou-se no topo absoluto de cibersegurança direto da caixa, superando outros concorrentes sem sofrer bloqueios desproporcionais de segurança.
• Pontuações sem restrições de segurança: Ao desconsiderar cibersegurança, biologia e alinhamento, Opus 5.5 e Astra lideram com folga. Mesmo o melhor modelo da tabela atinge apenas cerca de 12% na média geral do benchmark.
• Posicionamento do Gemini 4 Carbon: O modelo recolocou o Google à frente de rivais como Meta e xAI no pelotão intermediário de fronteira, embora ainda permaneça atrás das capacidades puras da OpenAI e da Anthropic nos domínios sem restrições.

Impacto no Mercado de Trabalho e Produtividade

Os debatedores discutem a transformação provocada pelo avanço da IA no trabalho qualificado:

• Elevação da barra de contratação: Andrew Megalaa relata que, após o ciclo dos modelos Sonnet 3.7, Sonnet 4, Sonnet 4.5 e Opus 4.6, a programação manual direta tornou-se obsoleta para problemas bem especificados. O papel do engenheiro deslocou-se para julgamento, arquitetura de sistemas e entropia de alto nível.
• Fim do trabalho de estagiário e júnior: Problemas bem delimitados, historicamente delegados a estagiários, agora são executados instantaneamente por modelos. Firmas de trading quantitativo relataram que projetos de estágio de verão foram concluídos nas primeiras semanas pelos estudantes utilizando IA.
• Divisão de perspectivas: Max Kan defende que a tecnologia libertará pesquisadores para ambições científicas maiores; Andrew Megalaa pondera que a maioria dos trabalhadores convencionais busca apenas cumprir horários sem ambição de expansão de escopo, tornando a transição disruptiva para cargos operacionais.

Metodologia de Publicação e Próximos Passos

Para evitar que os laboratórios de IA façam otimização direta no conjunto de testes (hill climbing e contaminação de dados de pós-treino), a SemiAnalysis adotou um modelo híbrido: tornou público apenas um exemplo de tarefa e sua respectiva execução por fornecedor, mantendo o restante do conjunto em segredo enquanto detalha toda a metodologia de auditoria e controle de qualidade.

O objetivo da equipe é consolidar o GDPx como a métrica padrão nas fichas técnicas (model cards) de futuros lançamentos de fronteira, expandindo as avaliações com novos parceiros e variando níveis de raciocínio computacional em versões posteriores.