Daily Journal
Daily Journal

Gemini 4 Carbon lidera benchmark MathArena, mas custa 15 vezes mais

O Google lançou o Gemini 4 Carbon em 10 de novembro, e o MathArena o coloca em primeiro no ranking, com custo esperado cerca de 15 vezes maior que o do GPT-6.1 Sol.

Daily Journal
||
17/11 às 13:43

Pontos principais

  • O MathArena estima em 85,4% o desempenho esperado do Gemini 4 Carbon na configuração de raciocínio 'high', com posição #1 no ranking.
  • Em sete dos nove recortes do MathArena o modelo ficou em primeiro lugar, com 94,28% no ArXivMath e 84,40% no BrokenArXiv em geral.
  • No ArXivLean de setembro de 2026, o modelo acertou 62,26% e custou US$ 45,11, o maior custo entre os recortes da página.
  • O custo esperado é de US$ 15,70 por problema, contra US$ 1,07 do GPT-6.1 Sol, e de US$ 40,20 do Claude Fable 5.2, segundo colocado.
  • A falha mais comum do modelo nos testes é estourar o limite de tempo.
  • Nos testes, o modelo quase nunca desiste de uma tarefa e, em um caso, deixou um script rodar por mais de onze horas sem verificar o andamento.

O Gemini 4 Carbon, lançado pelo Google em 10 de novembro de 2026, assumiu a liderança do MathArena, benchmark de matemática sem contaminação criado pelo SRI Lab da ETH Zurich e pelo INSAIT. Na configuração de raciocínio 'high', o modelo aparece em primeiro no ranking esperado, à frente do GPT-6.1 Sol da OpenAI, que ocupava o topo.

A liderança se repete na maior parte dos recortes da página, e o ArXivLean de setembro, onde o acerto é menor, é também onde o gasto é maior.

O custo esperado do modelo é cerca de 15 vezes o do GPT-6.1 Sol, e o Claude Fable 5.2, da Anthropic, segundo colocado no ranking, é o mais caro entre os líderes.

O padrão de falha e de persistência observado nos testes pode ser lido como diferencial ou como obstáculo para fluxos de trabalho que exigem respostas rápidas.

Fonte primária

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.