SemiAnalysis lança benchmark open source para IA agêntica
O AgentX 1.0 avalia o desempenho de chips de IA em fluxos de trabalho complexos, com suporte a contextos de até 1 milhão de tokens.
Pontos principais
- O projeto AgentX 1.0 foi desenvolvido com um investimento superior a US$ 3 milhões e está disponível sob licença Apache 2.0.
- O benchmark utiliza 393 traces reais de uso para simular cenários de inferência multi-turn, long context e uso de subagentes.
- Testes abrangem mais de 1.000 chips, incluindo modelos NVIDIA (GB300, B200, H200) e AMD (MI355X, MI300X).
- A ferramenta já impulsionou mais de 70 melhorias em projetos de infraestrutura como vLLM, SGLang e TensorRT-LLM.
- O benchmark foca em métricas de sistema, como taxa de acerto de KV cache, latência e throughput em ambientes de produção.
A consultoria SemiAnalysis anunciou o lançamento do AgentX 1.0, o primeiro benchmark de código aberto voltado especificamente para inferência de IA agêntica. Diferente de testes tradicionais que utilizam sequências fixas, o AgentX replica fluxos de trabalho reais que envolvem múltiplas interações, uso intensivo de ferramentas e contextos que alcançam 1 milhão de tokens. A iniciativa visa preencher uma lacuna na indústria, onde cargas de trabalho agênticas tornaram-se predominantes em ambientes de produção.
O projeto, que consumiu mais de US$ 3 milhões em desenvolvimento, utiliza cerca de 2MW de potência computacional para validar o desempenho de hardware e software de diversos fabricantes. Os resultados preliminares indicam um desempenho competitivo tanto da NVIDIA quanto da AMD, variando conforme o modelo e a complexidade da tarefa. A adoção do benchmark por desenvolvedores de software de inferência já resultou em dezenas de otimizações, consolidando o AgentX como uma referência para o planejamento de capacidade em laboratórios de IA e provedores de serviços.
Comentários
Carregando comentários...