Pontos principais

• Empresas utilizam apenas cerca de 5% de sua capacidade de GPU, segundo relatório da Cast AI, devido ao medo de perder alocação em um mercado escasso.
• A subutilização é exacerbada por contratos de longo prazo e arquiteturas de workload ineficientes, onde GPUs ficam ociosas durante fases de processamento de CPU.
• Os preços de GPUs e serviços de nuvem para IA estão subindo, quebrando um padrão de 20 anos de redução de custos, com aumentos notáveis da AWS e fornecedores de memória.
• O mercado de computação em nuvem se dividiu em duas camadas: uma de commodities com preços em queda e outra de fronteira (GPUs de ponta) com preços em ascensão devido à alta demanda e escassez.
• Melhorar a utilização das GPUs existentes, através de compartilhamento de tempo, bin-packing e seleção adequada de chips para cada workload, pode gerar economias significativas.
• A auditoria de workloads para garantir que o chip utilizado é o mais adequado para a tarefa é uma medida gratuita e eficaz para combater o desperdício.
• A estratégia ideal para 2026 envolve misturar diferentes caminhos de aquisição de GPUs (on-demand, blocos de capacidade, nuvens especializadas, on-premise) e não depender de um único plano de longo prazo.

Mencionado nesta matéria