Startups lançam modelos de IA ultra-compactos para rodar em dispositivos

A PrismML, saída do Caltech, emergiu do stealth com o Bonsai 8B — um modelo de 8 bilhões de parâmetros totalmente em 1-bit que cabe em apenas 1,15GB. A compressão radical mantém desempenho competitivo: 440 tok/s em RTX 4090 e 40 tok/s em iPhone, com densidade de inteligência 10,6x superior ao Qwen3 8B por GB.

A Liquid AI lançou o LFM2.5-350M, um modelo de 350 milhões de parâmetros treinado em 28 trilhões de tokens — razão token/parâmetro de 80.000:1. Otimizado para chamadas de função e extração de dados estruturados, roda em Raspberry Pi com apenas 300MB de memória e suporta janela de contexto de 32K.