Fireworks AI adiciona 31 novos parceiros ao Specialized Intelligence Index
A Fireworks AI incluiu 31 novos parceiros no Specialized Intelligence Index, cujos leaderboards por domínio comparam modelos em tarefas de setores como finanças, saúde e cibersegurança.
Pontos principais
- A Fireworks AI incluiu 31 novos parceiros no Specialized Intelligence Index (SII), que compara modelos abertos, fechados e especializados em trabalho real e permite ver onde o treinamento pode compensar.
- O índice tem 14 leaderboards por domínio e 66 entradas de benchmark, de cibersegurança e jurídico a finanças, saúde, suporte ao cliente, busca web e design de chips.
- Entre os donos de benchmarks estão Harvey (jurídico), Sierra (suporte ao cliente) e Replit (software).
- A comparação pesa qualidade contra custo e mede a velocidade como tempo de execução de ponta a ponta, excluindo o tempo do juiz, com três rodadas por tarefa.
- Os scores de parceiros vêm do próprio dono de cada benchmark; a Fireworks ainda não os reexecutou, mas planeja fazê-lo.
- Segundo a empresa, o índice não mede capacidade geral nem o máximo que um modelo alcançaria com harness próprio.
A Fireworks AI anunciou 31 novos parceiros no Specialized Intelligence Index (SII), que compara modelos abertos, fechados e especializados em tarefas reais, pesando qualidade, custo e velocidade. Os leaderboards cobrem 14 domínios, de cibersegurança e jurídico a finanças, saúde e design de chips.
Segundo a Fireworks, os scores de parceiros são informados pelo dono de cada benchmark e ainda não foram reexecutados pela empresa, que planeja fazê-lo. O índice não mede capacidade geral nem o máximo que um modelo alcançaria com harness próprio.
Fontes primárias
Post de anúncio: 31 novos parceiros no Specialized Intelligence Index
“Hoje, 31 novos parceiros entram no Specialized Intelligence Index. Compare modelos abertos, fechados e especializados em trabalho real, pese qualidade contra custo e veja onde o treinamento pode compensar.” A thread seguinte lista os parceiros por setor (finanças, jurídico, software, saúde, suporte ao cliente, busca web, entre outros) com seus handles no X, como @zapier, @Replit, @scale_AI e @ExaAILabs.
Specialized Intelligence Index — leaderboards por domínio e metodologia
Página do índice, atualizada em 28/10/2026, com leaderboards por domínio (segurança, jurídico, finanças, contabilidade e impostos, suporte ao cliente, busca web, entre outros), cada um com benchmarks de parceiros. Metodologia: um único setup de serving e um harness por benchmark; o índice não mede capacidade geral nem o máximo que um modelo otimizado com harness próprio alcançaria. Os benchmarks vêm de parceiros que os usam em produção ou de fontes públicas reconhecidas. Nos resultados de parceiros, o score é fornecido pelo dono do benchmark a partir da própria avaliação; a Fireworks ainda não reexecutou, mas planeja fazê-lo.
Cobertura da mídia
@lqiao: The new frontier of intelligence will diffuse into companies from model makers. The next generation of AI leaders won’t win by choosing a single best model. They’ll win by building…
x.com • 28 out, 16:58
@lqiao: The new frontier of intelligence will diffuse into companies from model makers. The next generation of AI leaders won’t win by choosing a single best model. They’ll win by building…
x.com • 28 out, 16:44
@FireworksAI_HQ: We’re working to build the largest collection of private and public practitioner evals.
x.com • 28 out, 13:02