AMD implementa suporte para MegaKernel Decode no vLLM antes da Nvidia
A AMD introduziu suporte para a técnica MegaKernel Decode no vLLM, superando a Nvidia na implementação dessa funcionalidade voltada à performance.
||
13/10 às 00:10, atualizado 27/10 às 11:58
Pontos principais
- A AMD adicionou suporte para MegaKernel Decode no vLLM upstream.
- A funcionalidade é exclusiva para a plataforma ROCm.
- Não existem solicitações de pull para suporte à tecnologia em CUDA.
- A técnica reduz em 10 vezes o número de lançamentos de kernel.
- O recurso visa otimizar a decodificação em cenários de alta interatividade.
A AMD implementou suporte para a técnica MegaKernel Decode no vLLM upstream, superando a Nvidia na adoção desta funcionalidade. O recurso, que reduz em 10 vezes o número de lançamentos de kernel, é projetado para otimizar a decodificação em cenários de alta interatividade.
Atualmente, a funcionalidade é exclusiva para a plataforma ROCm da AMD. Não há registros de solicitações de pull ou suporte disponível para a tecnologia em ambientes CUDA até o momento.
Tópicos relacionados
Cobertura da mídia
Leia também
Google, AMD e NVIDIA avançam em otimização de inferência com megakernels
21 out, 21:15
AMD atinge 90% de paridade em testes de integração com vLLM
3 out, 13:10
AMD MI355X supera desempenho por dólar do DGX B300
23 set, 11:40
Equipe da EmbeddedLLM ganha acesso a cluster de GPUs MI355X da AMD
22 set, 16:40
AMD aumenta em 11 vezes desempenho do vLLM no hardware MI355X
7 set, 14:40
Comentários (0)
Seja o primeiro a comentar.
