Artificial Analysis lança índices de capacidade para IA por setor
Plataforma independente introduz seis novos índices para avaliar modelos de IA em domínios profissionais como finanças, direito e saúde.
Pontos principais
- Os novos índices cobrem Finanças & Contabilidade, Jurídico, Saúde, Estratégia & Operações, Engenharia e Economia.
- A avaliação utiliza o framework GDPval-AA v2, que simula entregáveis reais de 44 ocupações em 9 setores distintos.
- O modelo Claude Fable 5, da Anthropic, ocupa a liderança em todos os oito índices de capacidade da plataforma.
- No índice de Estratégia & Operações, o Claude Fable 5 supera o DeepSeek V4 Pro por 12 pontos, mas com custo 100 vezes maior por tarefa.
- O GLM-5.2 destaca-se como o modelo open-weight líder nos novos benchmarks de desempenho.
- A iniciativa marca uma mudança na indústria de IA, focando em métricas específicas de domínio em vez de testes generalistas.
A Artificial Analysis expandiu sua plataforma de benchmarking com o lançamento de seis novos índices de capacidade, projetados para avaliar modelos de IA em áreas profissionais especializadas. Ao contrário de testes genéricos, esses índices utilizam o framework GDPval-AA v2 para medir a eficácia das IAs em tarefas práticas, como a criação de modelos financeiros ou a análise de documentos jurídicos, refletindo a demanda por ferramentas de IA com maior aplicabilidade técnica.
Os resultados iniciais confirmam a dominância do Claude Fable 5, que lidera todos os rankings de capacidade. Entretanto, a análise revela um contraste significativo entre performance e custo operacional. Enquanto modelos proprietários como o Fable 5 oferecem o desempenho mais alto, modelos open-weight como o GLM-5.2 apresentam alternativas competitivas com custos por tarefa substancialmente menores, variando entre US$ 0,26 e US$ 0,58, frente aos US$ 3,48 cobrados pelo modelo da Anthropic em tarefas de estratégia.
Comentários
Carregando comentários...