Empresas estão pagando por unidades de processamento gráfico (GPUs) que utilizam em apenas cerca de 5% de sua capacidade, conforme um relatório da Cast AI. Essa subutilização é atribuída ao FOMO (Fear Of Missing Out) e à escassez no mercado, levando as companhias a garantirem alocação de hardware mesmo sem demanda imediata. Esse cenário, somado a contratos de longo prazo e arquiteturas de workload ineficientes, onde GPUs ficam ociosas durante fases de processamento de CPU, contribui para a elevação contínua dos preços de GPUs e serviços de nuvem para inteligência artificial.

A alta nos preços das GPUs e serviços de nuvem para IA representa uma quebra no padrão de 20 anos de redução de custos no setor de computação em nuvem. O mercado se fragmentou em uma camada de commodities com preços em declínio e outra de fronteira, com GPUs de ponta, onde os preços estão em ascensão devido à alta demanda e escassez. Especialistas sugerem que a melhoria da utilização das GPUs existentes, por meio de compartilhamento de tempo e seleção adequada de chips para cada workload, além da auditoria de workloads, pode gerar economias significativas e combater o desperdício.