Treinamento do modelo Marin 535B-A23B atinge metade do processo
Percy Liang confirmou que o modelo Marin 535B-A23B superou 50% do treinamento com ganhos de eficiência operacional e ajustes técnicos.
Pontos principais
- O treinamento do modelo Marin 535B-A23B ultrapassou a marca de 50% de conclusão.
- A eficiência de utilização de hardware (MFU) subiu de 21% para 27% durante a execução.
- Foram implementadas otimizações como kernels de atenção FA4 e ragged EP.
- A taxa de descarte de MoE foi reduzida para quase zero com ajustes operacionais.
- A equipe realizou alterações no decaimento de peso e na mistura de dados para estabilizar o processo.
O pesquisador Percy Liang anunciou que o treinamento do modelo Marin 535B-A23B superou a metade do cronograma previsto. Durante o processo, a equipe conseguiu elevar a eficiência de utilização de hardware (MFU) de 21% para 27%, implementando melhorias técnicas como kernels de atenção FA4 e a tecnologia ragged EP.
Além das otimizações de hardware, ajustes operacionais foram aplicados para estabilizar o treinamento. Entre as medidas, destaca-se a redução da taxa de descarte de MoE para níveis próximos de zero, além de modificações no decaimento de peso e na estratégia de mistura de dados.
Cobertura da mídia
Comentários
Carregando comentários...