OpenAI otimiza cache de prompts no GPT-6 para reduzir custos
A OpenAI atualizou o sistema de cache de prompts do GPT-6, visando diminuir a latência e os custos operacionais para desenvolvedores.
||
22/09 às 17:45 · atualizado 18:40
Pontos principais
- Implementação de descontos de até 90% para tokens de entrada em cache.
- Lançamento de um dashboard para monitorar taxas de acerto de cache.
- Introdução de breakpoints explícitos e nova API de diagnóstico.
- Funcionalidade de prewarm para pré-carregamento de contexto compartilhado.
A OpenAI anunciou melhorias no sistema de cache de prompts para a API do modelo GPT-6. A atualização introduz descontos de até 90% em tokens de entrada, além de novas ferramentas como um dashboard de monitoramento e uma API de diagnóstico. O sistema agora conta com breakpoints explícitos e a funcionalidade de prewarm, permitindo maior controle sobre o processamento e a redução da latência para agentes que utilizam a plataforma.
Tópicos relacionados
Comentários
Carregando comentários...
