Google, AMD e NVIDIA avançam em otimização de inferência com megakernels
Gigantes da tecnologia implementam a técnica de megakernels para reduzir a latência e acelerar a geração de tokens em modelos de linguagem.
||
21/10 às 21:15
Pontos principais
- A equipe Inferact utilizou megakernels em TPUs do Google para processar 92 camadas do modelo Kimi K3 simultaneamente.
- A AMD criou o FlyDSL para executar camadas do modelo GLM-5 em um único programa por GPU.
- A NVIDIA otimizou o processamento de blocos de camada K3 no GB300, reduzindo o tempo de 130 para 69 microssegundos.
- A técnica de megakernels combina operações distintas para eliminar pausas e diminuir a latência em cargas de trabalho agentic.
Google, AMD e NVIDIA adotaram a técnica de megakernels para otimizar a inferência de LLMs. O método combina operações que antes rodavam separadamente, reduzindo pausas e latência na geração de tokens. A implementação inclui o uso de TPUs pelo Google, o desenvolvimento do FlyDSL pela AMD e melhorias no hardware GB300 da NVIDIA. Essas inovações visam atender à demanda por maior velocidade em cargas de trabalho agentic que exigem alta interatividade.
Cobertura da mídia
Leia também
NVIDIA e parceiros alcançam ganho de 7,2x em performance de IA
14 out, 19:40
AMD implementa suporte para MegaKernel Decode no vLLM antes da Nvidia
13 out, 00:10
Equipe da EmbeddedLLM ganha acesso a cluster de GPUs MI355X da AMD
22 set, 16:40
AMD aumenta em 11 vezes desempenho do vLLM no hardware MI355X
7 set, 14:40
Google estaria colaborando com a AMD no desenvolvimento do chip TPU v10
17 ago, 12:02
Comentários (0)
Seja o primeiro a comentar.
