Empresas enfrentam dificuldades para prever custos de tokens em IA
Pesquisa aponta que 60% das companhias não conseguem controlar gastos variáveis com modelos de inteligência artificial baseados em tokens.
Pontos principais
- 60% dos profissionais relatam que a trajetória de custos em IA é imprevisível.
- Modelo de precificação por tokens dificulta o gerenciamento orçamentário tradicional.
- Apenas um terço das empresas afirma ter controle efetivo sobre os gastos com tokens.
- Estratégias de mitigação incluem otimização de prompts e roteamento de modelos.
Uma pesquisa realizada pelo The Information com 107 líderes do setor revela que a maioria das empresas enfrenta desafios significativos para prever e controlar os custos variáveis de tokens em iniciativas de inteligência artificial. Diferente do modelo tradicional de assinaturas por assento, a precificação baseada no consumo de tokens, comum em agentes autônomos, torna o orçamento de tecnologia altamente volátil e complexo de gerenciar.
Para enfrentar essa imprevisibilidade, as organizações estão adotando estratégias como o treinamento de usuários, o roteamento de modelos e a implementação de sistemas de controle centralizados. Apesar desses esforços, apenas um terço das empresas pesquisadas declara ter controle efetivo sobre esses gastos na prática. O cenário destaca a necessidade de novas ferramentas de governança financeira para sustentar investimentos em softwares e modelos de API, que concentram a maior parte dos aportes atuais no setor.
Comentários
Carregando comentários...