Experimento com tokens de IA gera custo de US$ 1,5 milhão na Vals AI
Uso ilimitado de tokens por engenheiros da Vals AI resultou em gastos dez vezes superiores à folha salarial da empresa em apenas um mês.
Pontos principais
- A equipe de engenharia consumiu entre um e dois bilhões de tokens por dia durante o teste.
- O custo mensal de US$ 1,5 milhão superou em dez vezes o valor gasto com salários no mesmo período.
- A empresa identificou que a ferramenta Devin, da Cognition, possui maior eficiência no consumo de tokens.
- A Vals AI planeja migrar de modelos cobrados por token para opções baseadas em assinatura.
O CEO da Vals AI, Rayan Krishnan, revelou que um experimento de uso ilimitado de tokens por sua equipe de engenharia resultou em um custo de 1,5 milhão de dólares em um único mês. Durante o período, os engenheiros consumiram entre um e dois bilhões de tokens diariamente, gerando uma despesa dez vezes maior que o total gasto com salários. Diante do impacto financeiro, a companhia avaliou a eficiência de diferentes ferramentas, apontando o Devin, da Cognition, como uma opção superior. Como resultado, a Vals AI está reestruturando sua estratégia de IA para priorizar modelos baseados em assinatura em vez de cobranças por token.
Comentários
Carregando comentários...
