Novo recorde de velocidade no treino de modelos NanoGPT
O projeto modded-nanogpt alcançou um novo recorde de 75,4 segundos no treinamento de modelos, impulsionado por otimizações em kernels Triton.
Pontos principais
- O recorde foi estabelecido no treinamento de um modelo de 124M parâmetros até 3.28 de validation loss no dataset FineWeb.
- A otimização principal envolveu a reestruturação de matrizes MLP para reduzir o número de batches por passo do otimizador.
- A implementação de um kernel Triton para multiplicação de matrizes simétricas permitiu acelerar o loop de Newton-Schulz.
- O uso de 8 GPUs H100 foi fundamental para atingir a marca de 75,4 segundos.
- A reconfiguração das matrizes MLP reduziu o volume de comunicação entre GPUs, mitigando gargalos de rede.
- O projeto modded-nanogpt, mantido por Keller Jordan, continua a explorar técnicas de otimização para reduzir o tempo de treinamento de LLMs.
O projeto modded-nanogpt atingiu um novo marco de eficiência computacional, reduzindo o tempo de treinamento de um modelo de 124 milhões de parâmetros para 75,4 segundos. O avanço foi viabilizado por uma contribuição técnica que otimizou a forma como as matrizes MLP são processadas, permitindo que o otimizador opere com menos batches e, consequentemente, menor carga de comunicação entre as GPUs H100 utilizadas no experimento.
Além da reestruturação das matrizes, a introdução de um kernel Triton customizado para multiplicação de matrizes simétricas otimizou o algoritmo de Newton-Schulz. Embora o ganho de performance seja limitado por gargalos de comunicação em certas configurações, a combinação dessas técnicas permitiu superar o recorde anterior, demonstrando a eficácia de otimizações de baixo nível em kernels de álgebra linear para o treinamento de modelos de linguagem em larga escala.
Comentários
Carregando comentários...