OpenAI reduz latência de leitura de 120ms para 10ms
A OpenAI otimizou sua infraestrutura de dados e reescreveu camadas de serviço, reduzindo a latência global de leitura em 12 vezes.
||
23/10 às 14:45, atualizado 24/10 às 20:13
Pontos principais
- A OpenAI atende mais de 1,2 bilhão de usuários em 40 regiões geográficas.
- A colaboração com o Azure Cosmos DB permitiu reduzir a latência mediana de 120ms para 10ms.
- A empresa implementou caches regionais para dados acessados com frequência.
- A reescrita da camada de serviço de Python para Rust diminuiu o overhead de proxy.
A OpenAI anunciou uma melhoria significativa na performance de seus serviços, reduzindo a latência global de leitura de 120ms para 10ms. O ganho foi alcançado por meio de uma parceria com o Azure Cosmos DB e pela implementação de caches em nível de região. Além disso, a empresa reescreveu sua camada de serviço de Python para Rust, eliminando o overhead de proxy. Atualmente, a plataforma atende mais de 1,2 bilhão de usuários em 40 regiões geográficas.
Tópicos relacionados
Cobertura da mídia
Leia também
OpenAI otimiza sistema Habitat para suportar 1 bilhão de usuários
23 out, 13:32
OpenAI migra plataforma Habitat para Rust após atingir 22 mi de requisições
11 set, 14:03
OpenAI pausa novas assinaturas do ChatGPT Pro de US$200
11 set, 09:00
OpenAI suspende testes de IA após identificar risco crítico
18 ago, 18:15
OpenAI otimiza fluxos de trabalho de agentes com WebSockets
22 abr, 14:08
Comentários (0)
Seja o primeiro a comentar.