Agentes de IA da Asari otimizam performance de LLMs em até 16%

A startup Asari AI apresentou uma nova classe de agentes de IA, denominados "co-inventores", capazes de otimizar de forma autônoma a infraestrutura de inferência para grandes modelos de linguagem (LLMs). Ao atuar sobre toda a pilha tecnológica, desde kernels de baixo nível até configurações de balanceamento de carga, os agentes conseguiram ganhos de performance de até 16% em ambientes de alta concorrência. O diferencial do sistema reside na sua capacidade de autoaperfeiçoamento, onde aprendizados obtidos durante a otimização de um modelo são transferidos para outros, reduzindo ineficiências operacionais.

Para garantir que o ganho de velocidade não comprometa a precisão, a Asari implementou um rigoroso processo de verificação que compara a distribuição estatística das saídas do modelo otimizado com a versão original. Diferente de testes funcionais tradicionais, esse método assegura que o comportamento do modelo seja preservado mesmo após modificações profundas no código. A tecnologia, que já apresenta resultados superiores às implementações padrão do vLLM, busca resolver a complexidade de otimizar sistemas dinâmicos onde a análise de código estática é insuficiente.