A OpenAI anunciou a otimização de seus fluxos de trabalho de agentes por meio da implementação de WebSockets na API Responses. A empresa detalhou como o uso de WebSockets, combinado com cache com escopo de conexão, permitiu reduzir a sobrecarga da API e melhorar significativamente a latência do modelo. Essas técnicas foram aplicadas no loop do agente Codex, visando aprimorar a eficiência e a velocidade das operações.

As modificações visam aprimorar a performance de sistemas de inteligência artificial que dependem de interações rápidas e eficientes com APIs. A abordagem da OpenAI, focada em WebSockets, demonstra um esforço contínuo para refinar a infraestrutura subjacente de seus modelos, impactando diretamente a capacidade de resposta e a escalabilidade de suas aplicações.