Meta detalha supercluster Prometheus com escala gigawatt em Ohio
A Meta detalhou o Prometheus, supercluster de escala gigawatt em New Albany, Ohio, que já treinou a família Muse e tem como meta cerca de 1 milhão de GPUs.
Pontos principais
- A primeira fase do Prometheus, em New Albany, Ohio, está concluída e foi usada para treinar a família Muse, incluindo o Muse Wonder.
- Hoje são centenas de milhares de GPUs em vários prédios interligados por fibra; a meta é chegar a cerca de 1 milhão operando em conjunto.
- A Meta registra goodput acima de 85% no pré-treinamento do Muse Wonder e acima de 90% no aprendizado por reforço.
- O tempo médio entre interrupções no treino do Muse Wonder foi de cerca de 47 mil horas de GPU, subindo para mais de 54 mil com correções de firmware.
- A Meta diz ter reduzido em 99% as interrupções desde o pico de quase 1.000 por 8 mil GPUs ao dia, em meados de 2025, mas ainda não atingiu o objetivo de duas por 8 mil GPUs ao dia, equivalente a cerca de 100 mil horas de GPU entre interrupções.
- O cluster combina racks NVIDIA GB200 NVL72 (Catalina, cerca de 120 kW por par de racks) e GB300 NVL72 (Clemente, cerca de 135 kW por rack), com Vera Rubin NVL72 previsto para breve.
- Para lidar com oscilações de potência de 30% a 40% no treino síncrono, a Meta usa o Dynamo Dimmer, que reduz os limites de potência das GPUs em vez de interromper jobs.
- A Meta liga até 20.736 GPUs por prédio em Ethernet dedicada, e a agregação entre prédios cobre distâncias de 2 km a mais de 100 km.
- O próximo supercluster, Hyperion, está em projeto em Richland Parish, Louisiana, Estados Unidos, com conexão à rede da Entergy que a Meta paga integralmente.
A Meta afirma que o Prometheus, seu supercluster de escala gigawatt em New Albany, Ohio, Estados Unidos, concluiu a primeira fase e treinou a família de modelos Muse, incluindo o Muse Wonder. Hoje reúne centenas de milhares de GPUs em vários prédios interligados. A meta de cerca de 1 milhão ainda não foi atingida.
No treino do Muse Wonder, a empresa registra goodput acima de 85% no pré-treinamento e acima de 90% no aprendizado por reforço. O tempo médio entre interrupções foi de cerca de 47 mil horas de GPU, subindo para mais de 54 mil com correções de firmware.
Fonte primária
Tópicos relacionados
Cobertura da mídia
@AIatMeta: We trained our Muse foundational models, including Muse Wonder, at Prometheus, our gigawatt-scale supercluster in New Albany, Ohio.
x.com • 19 out, 15:14
Meta details Prometheus, its gigawatt-scale supercluster in Ohio, which will have ~1M GPUs at full scale and was used to train its Muse foundational models (Engineering at Meta)
Techmeme • 19 out, 15:25