Daily Journal
Daily Journal

Google, AMD e NVIDIA avançam em otimização de inferência com megakernels

Gigantes da tecnologia implementam a técnica de megakernels para reduzir a latência e acelerar a geração de tokens em modelos de linguagem.

Daily Journal
Foto: x.com
||
21/10 às 21:15

Pontos principais

  • A equipe Inferact utilizou megakernels em TPUs do Google para processar 92 camadas do modelo Kimi K3 simultaneamente.
  • A AMD criou o FlyDSL para executar camadas do modelo GLM-5 em um único programa por GPU.
  • A NVIDIA otimizou o processamento de blocos de camada K3 no GB300, reduzindo o tempo de 130 para 69 microssegundos.
  • A técnica de megakernels combina operações distintas para eliminar pausas e diminuir a latência em cargas de trabalho agentic.

Google, AMD e NVIDIA adotaram a técnica de megakernels para otimizar a inferência de LLMs. O método combina operações que antes rodavam separadamente, reduzindo pausas e latência na geração de tokens. A implementação inclui o uso de TPUs pelo Google, o desenvolvimento do FlyDSL pela AMD e melhorias no hardware GB300 da NVIDIA. Essas inovações visam atender à demanda por maior velocidade em cargas de trabalho agentic que exigem alta interatividade.

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.