Nvidia desenvolve técnica para acelerar transferência de cache em IA

Pesquisadores da Nvidia apresentaram um avanço significativo para a eficiência de sistemas de inteligência artificial ao desenvolver um método que utiliza álgebra linear simples para a transferência de cache KV entre modelos. Ao substituir processos complexos por um mapeador linear baseado em regressão ridge, a técnica permite que sistemas agentes alternem entre modelos de diferentes capacidades sem a necessidade de recomputar todo o histórico de dados. Essa inovação reduz drasticamente a latência e o custo computacional, sendo de 2,7 a 25 vezes mais rápida que os métodos tradicionais de recomputação. A solução, validada em famílias de modelos como Llama 3.1 e Qwen3, mantém até 98% da precisão original. O avanço é estratégico para aplicações empresariais que dependem de longos contextos e tarefas de raciocínio complexas, mitigando gargalos de memória e otimizando o uso de infraestrutura em fluxos de trabalho multi-modelo.