OpenRouter lança Batch API com desconto de 50% em inferências
Nova API permite processamento assíncrono de grandes volumes de dados com redução de custos pela metade em mais de 70 modelos de IA.
Pontos principais
- O serviço oferece desconto de 50% no custo por token para tarefas que não exigem resposta imediata.
- O processamento é realizado dentro de uma janela de até 24 horas, com tempo médio de conclusão de 7 minutos.
- A API suporta mais de 70 modelos de IA, incluindo chat completions, mensagens e embeddings.
- Dados da fase beta indicam que 90% das solicitações são concluídas em até uma hora.
- O sistema é ideal para tarefas como rotulagem de dados, resumos de tickets e processamento de grandes lotes de texto.
- Resultados são retornados de forma independente, garantindo que falhas em linhas individuais não interrompam o lote completo.
A OpenRouter anunciou o lançamento de sua nova Batch API, voltada para cargas de trabalho que permitem tempos de resposta variáveis. Ao optar pelo processamento assíncrono, desenvolvedores podem obter uma economia de 50% no custo por token em comparação às chamadas síncronas tradicionais, utilizando mais de 70 modelos de linguagem disponíveis na plataforma. O serviço é projetado para tarefas de alto volume, como a sumarização de grandes bases de tickets, preenchimento de embeddings ou execução de prompts em milhares de linhas de dados.
Embora o prazo máximo de entrega seja de 24 horas, a performance observada durante o período de testes foi significativamente mais rápida. A mediana de conclusão foi de 7 minutos, com 90% dos lotes processados em até uma hora. A eficiência do processamento pode variar conforme o horário de submissão, sendo mais ágil após as 18h (horário do Pacífico). Os resultados ficam disponíveis para consulta por até 30 dias, e a plataforma permite que usuários configurem chaves próprias (BYOK) para roteamento específico de provedores.
Cobertura da mídia
Leia também
Ramp lança serviço de roteamento de modelos de IA nos EUA
20 ago, 14:01
Stripe realiza maior aquisição de sua história ao comprar OpenRouter
20 ago, 07:32
Stripe compra startup de inteligência artificial OpenRouter
19 ago, 14:32
OpenAI reduz em 50% custos de inferência para usuários sem login
30 jun, 13:45
OpenRouter lança Fusion para processamento paralelo de modelos de IA
15 jun, 18:02
Comentários (0)
Seja o primeiro a comentar.
