Daily Journal
Daily Journal

Sistema GB300 NVL72 atinge 1725 tokens por segundo com DeepSeek

O hardware GB300 NVL72 alcançou alta performance em inferência utilizando a tecnologia TileRT MegaKernels no modelo DeepSeek v4.1 Flash.

Daily Journal
Foto: x.com
||
12/11 às 15:10

Pontos principais

  • O sistema GB300 NVL72 atingiu 1725 tokens por segundo por usuário.
  • A marca foi registrada utilizando o modelo DeepSeek v4.1 Flash.
  • O desempenho foi viabilizado pela configuração TP24 com TileRT MegaKernels.
  • A velocidade é duas vezes superior aos motores de inferência de propósito geral.

O sistema GB300 NVL72 alcançou a marca de 1725 tokens por segundo por usuário ao processar o modelo DeepSeek v4.1 Flash. O resultado foi obtido por meio da configuração TP24, utilizando a tecnologia TileRT MegaKernels para otimizar a decodificação.

Essa performance representa uma velocidade duas vezes maior do que a apresentada por motores de inferência de propósito geral. Atualmente, a tecnologia TileRT passa por testes para suportar multi-concorrência no hardware GB300 NVL72.

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.