OpenRouter lança Batch API com desconto de 50% em inferências
Nova API permite processamento assíncrono de grandes volumes de dados com redução de custos pela metade em mais de 70 modelos de IA.
Pontos principais
- O serviço oferece desconto de 50% no custo por token para tarefas que não exigem resposta imediata.
- O processamento é realizado dentro de uma janela de até 24 horas, com tempo médio de conclusão de 7 minutos.
- A API suporta mais de 70 modelos de IA, incluindo chat completions, mensagens e embeddings.
- Dados da fase beta indicam que 90% das solicitações são concluídas em até uma hora.
- O sistema é ideal para tarefas como rotulagem de dados, resumos de tickets e processamento de grandes lotes de texto.
- Resultados são retornados de forma independente, garantindo que falhas em linhas individuais não interrompam o lote completo.
A OpenRouter anunciou o lançamento de sua nova Batch API, voltada para cargas de trabalho que permitem tempos de resposta variáveis. Ao optar pelo processamento assíncrono, desenvolvedores podem obter uma economia de 50% no custo por token em comparação às chamadas síncronas tradicionais, utilizando mais de 70 modelos de linguagem disponíveis na plataforma. O serviço é projetado para tarefas de alto volume, como a sumarização de grandes bases de tickets, preenchimento de embeddings ou execução de prompts em milhares de linhas de dados.
Embora o prazo máximo de entrega seja de 24 horas, a performance observada durante o período de testes foi significativamente mais rápida. A mediana de conclusão foi de 7 minutos, com 90% dos lotes processados em até uma hora. A eficiência do processamento pode variar conforme o horário de submissão, sendo mais ágil após as 18h (horário do Pacífico). Os resultados ficam disponíveis para consulta por até 30 dias, e a plataforma permite que usuários configurem chaves próprias (BYOK) para roteamento específico de provedores.
Comentários
Carregando comentários...