Projeto vLLM enfrenta instabilidade em hardware AMD
A falta de clusters de controle de qualidade estáveis para o vLLM resulta em desempenho inferior do software em hardware AMD comparado ao CUDA.
Pontos principais
- A qualidade do vLLM em hardware AMD é considerada significativamente inferior à do CUDA.
- O projeto sofre com interrupções frequentes em sua frota de integração contínua baseada em AMD.
- As falhas na infraestrutura de testes da AMD ocorrem mensalmente.
O projeto vLLM enfrenta desafios técnicos significativos relacionados ao suporte para hardware AMD. Segundo a SemiAnalysis, a ausência de clusters de controle de qualidade estáveis, fornecidos por Anush Elangovan, compromete a estabilidade do software, que apresenta desempenho uma ordem de magnitude pior do que o observado em ambientes CUDA.
A infraestrutura de integração contínua do projeto também tem sido afetada por interrupções recorrentes. A frota baseada em AMD registra falhas mensais, dificultando a manutenção da qualidade do software e o alinhamento com os padrões de performance exigidos pelo ecossistema de inferência.
Comentários
Carregando comentários...
