Cerebras supera desempenho de GPUs em testes com modelo de IA
Chips de arquitetura wafer-scale da Cerebras executam modelo de um trilhão de parâmetros sete vezes mais rápido que nuvens baseadas em GPUs.
Pontos principais
- A Cerebras atingiu a marca de 981 tokens por segundo ao rodar o modelo Kimi K2.6.
- O desempenho superou provedores de nuvem baseados em GPU em quase sete vezes.
- A tecnologia utiliza SRAM integrada para eliminar gargalos de comunicação em clusters.
- O modelo Kimi K2.6, da Moonshot AI, é voltado para codificação e agentes autônomos.
- A empresa foca no mercado corporativo, atendendo setores como saúde e finanças.
A Cerebras Systems anunciou um avanço significativo no processamento de modelos de linguagem de larga escala ao registrar uma velocidade de 981 tokens por segundo com o modelo Kimi K2.6. A performance, que supera em quase sete vezes a capacidade de nuvens baseadas em GPUs tradicionais, é atribuída à sua arquitetura de chip wafer-scale, que integra SRAM diretamente no hardware para reduzir a latência e otimizar a comunicação de dados. O modelo Kimi K2.6, desenvolvido pela chinesa Moonshot AI, possui um trilhão de parâmetros e é especializado em tarefas de codificação e agentes autônomos. Este resultado reforça a competitividade da Cerebras no mercado de infraestrutura para IA, um setor que vive intensa movimentação, como evidenciado pela recente aquisição da Groq pela Nvidia por US$ 20 bilhões. A tecnologia visa atender demandas de alta performance de clientes da Fortune 500.
Tópicos relacionados
Comentários
Carregando comentários...