Apple desenvolve arquitetura para rodar modelos de IA no dispositivo

A Apple anunciou uma nova arquitetura para modelos de IA no dispositivo, projetada para contornar as limitações de memória DRAM em hardware móvel. Ao utilizar a memória flash NAND para o armazenamento de pesos dos modelos, o sistema viabiliza a execução local de modelos de até 20 bilhões de parâmetros. A eficiência é garantida por um mecanismo de roteamento que seleciona especialistas dinamicamente, ativando apenas uma fração dos parâmetros conforme a complexidade da solicitação, o que reduz a necessidade de transferência constante de dados. Essa inovação representa um avanço significativo para a computação local, permitindo que dispositivos realizem tarefas avançadas de machine learning com maior autonomia. Embora promissora, especialistas ressaltam que ainda é necessário avaliar o impacto real no consumo de energia e a transparência do sistema para aplicações corporativas.