Modal testa CPUs Vera da Nvidia e prevê levá-las aos seus Sandboxes
A Modal recebeu em São Francisco, nos Estados Unidos, o primeiro servidor com CPU Vera da Nvidia e diz que, sob carga, ela chega a dobrar a vazão de tarefas de seus Sandboxes frente a uma máquina x86 equivalente.
Pontos principais
- A Nvidia entregou à Modal o primeiro servidor com CPU Vera, já instalado em rack no escritório de São Francisco.
- A Vera é uma CPU de arquitetura Arm, feita para a plataforma de GPU Vera Rubin e também vendida como servidor de CPU independente.
- A Modal sempre rodou apenas em máquinas x86; dar suporte à Arm exige mudanças na infraestrutura e no sistema de build de imagens.
- Segundo a Modal, em testes iniciais a Vera chega a dobrar a vazão de tarefas sob carga em relação a uma máquina x86 Intel GNR equivalente.
- Na latência por tarefa, a Vera fica igual ou às vezes abaixo da máquina x86; no teste serial, em host ocioso, a vantagem não é grande.
- Segundo a Modal, a Vera não desacelera conforme os jobs se acumulam, graças à alta largura de banda de memória, que permite mais containers por núcleo sem throttling de CPU.
- Para a Modal, isso permite maior densidade de empacotamento e proteção de burst mais tolerante, sem sacrificar a latência dos usuários de Sandboxes.
- A Modal diz que pretende lançar o suporte à Vera nos Sandboxes junto com a Nvidia e provedores de nuvem, sem definir data, regiões ou preço.
A Modal, sediada em São Francisco, nos Estados Unidos, roda Sandboxes em hosts multi-tenant, onde centenas de containers e VMs dividem a mesma máquina. O uso de CPU dessas cargas é irregular: um sandbox pode passar a maior parte do tempo esperando uma resposta de LLM e, de repente, subir a 10 vezes a base durante um npm install. A empresa diz que cada segundo de CPU custa mais do que a própria CPU. Em agentes em background, execuções mais rápidas significam respostas mais rápidas e custo menor; em aprendizado por reforço, as GPUs ficam ociosas enquanto os sandboxes rodam.
Os números vêm de testes iniciais em um único nó. O Agentless Agent Bench reúne 50 tarefas do Terminal-Bench sem chamadas de rede e com containers pré-aquecidos, para isolar o trabalho de CPU, como compilação, grep de arquivos, operações de git e emulação de dispositivos. A Modal diz que a Vera pode escalar além do nó a que teve acesso para os testes.
Fonte primária
Tópicos relacionados
Cobertura da mídia
Para NVIDIA, CPUs atuais têm falha grave de desempenho que ela vai corrigir
Canaltech • 19 out, 18:02
AI infrastructure startup Modal says it plans to start using Nvidia's Vera CPUs for the first time for hosting agents, alongside existing Intel and AMD chips (Stephen Nellis/Reuters)
Techmeme • 19 out, 12:40