Sistema Nvidia SGLang Rubin supera desempenho do GB300 NVL72
Testes indicam que a arquitetura Rubin oferece um custo-benefício 4,23 vezes superior ao modelo GB300 NVL72 em inferência de LLMs.
Pontos principais
- O sistema Nvidia SGLang Inference Rubin apresentou eficiência 4,23 vezes maior que o GB300 NVL72.
- Os testes utilizaram o motor de inferência SGLang em uma prévia do InferenceX.
- A avaliação foi realizada com o modelo Qwen3.8 Flash Next 180B, operando com 6B de parâmetros ativos.
- A equipe planeja submeter publicamente resultados completos para o SGLang Rubin NVL72, incluindo modelos da série GLM5.3.
A análise técnica realizada pela SemiAnalysis aponta que o sistema Nvidia SGLang Inference Rubin alcançou um desempenho por dólar 4,23 vezes superior ao do modelo GB300 NVL72. Os resultados foram obtidos por meio do motor de inferência SGLang, utilizando uma prévia do InferenceX para processar o modelo Qwen3.8 Flash Next 180B com 6B de parâmetros ativos.
Diante dos dados observados, a equipe responsável pelo projeto planeja realizar uma submissão pública completa dos testes para o SGLang Rubin NVL72. A próxima etapa de avaliações deve incluir a utilização de modelos da série GLM5.3 para validar a performance do sistema em diferentes cenários de carga.
