Daily Journal
Daily Journal

CoreWeave bate recorde ao treinar modelo DeepSeek-V3 em 2 minutos

A CoreWeave utilizou 8.192 GPUs NVIDIA Blackwell Ultra para completar o treinamento do modelo DeepSeek-V3 de 671 bilhões de parâmetros.

Daily Journal
Foto: x.com
||
17/06 às 11:56

Pontos principais

  • O desempenho foi registrado na rodada v6.0 do benchmark MLPerf Training, padrão da indústria para IA.
  • O treinamento do modelo DeepSeek-V3 671B foi concluído em aproximadamente 2,02 minutos.
  • A infraestrutura utilizada consistiu em um cluster de 8.192 GPUs NVIDIA GB300 NVL72.
  • O sistema utilizou rede NVIDIA Spectrum-X Ethernet com tecnologia RoCE para escalabilidade.
  • A CoreWeave afirmou que os resultados foram obtidos na mesma infraestrutura de nuvem disponível para clientes comerciais.
  • A NVIDIA também destacou que otimizações de software permitiram um ganho de 1,3x na velocidade de treinamento em três meses.

A CoreWeave estabeleceu um novo marco no setor de inteligência artificial ao concluir o treinamento do modelo DeepSeek-V3, com 671 bilhões de parâmetros, em pouco mais de dois minutos. O feito ocorreu durante a rodada v6.0 do MLPerf Training, benchmark reconhecido pela indústria para medir a eficiência de sistemas de computação de alto desempenho. A operação foi realizada em um cluster de 8.192 GPUs NVIDIA Blackwell Ultra (GB300 NVL72), demonstrando a capacidade de escala da infraestrutura da empresa.

Segundo a companhia, os resultados não foram obtidos em um ambiente isolado para testes, mas na mesma plataforma de nuvem utilizada por seus clientes em produção. A performance foi impulsionada por inovações de software, como o uso do framework NVIDIA NeMo e otimizações em bibliotecas de comunicação, que permitiram um aumento de 30% na velocidade de processamento do modelo em apenas três meses, sem a necessidade de alterações no hardware subjacente.

Tópicos relacionados

Comentários

Carregando comentários...