Startups lançam modelos de IA ultra-compactos para rodar em dispositivos
PrismML apresenta Bonsai 8B (1-bit, 1,15GB) e Liquid AI lança modelo de 350M parâmetros que roda em Raspberry Pi.
||
01/04 às 09:00
Pontos principais
- PrismML saiu do stealth com $16,25M em funding e modelo 1-bit Bonsai 8B
- Bonsai 8B cabe em 1,15GB (14x menor que pares), roda a 440 tok/s em RTX 4090
- Densidade de inteligência 10,6x superior ao Qwen3 8B por GB
- Liquid AI lançou LFM2.5-350M: 350M parâmetros treinado em 28T tokens
- Modelo da Liquid AI roda em Raspberry Pi (300MB) com janela de contexto de 32K
A PrismML, saída do Caltech, emergiu do stealth com o Bonsai 8B — um modelo de 8 bilhões de parâmetros totalmente em 1-bit que cabe em apenas 1,15GB. A compressão radical mantém desempenho competitivo: 440 tok/s em RTX 4090 e 40 tok/s em iPhone, com densidade de inteligência 10,6x superior ao Qwen3 8B por GB.
A Liquid AI lançou o LFM2.5-350M, um modelo de 350 milhões de parâmetros treinado em 28 trilhões de tokens — razão token/parâmetro de 80.000:1. Otimizado para chamadas de função e extração de dados estruturados, roda em Raspberry Pi com apenas 300MB de memória e suporta janela de contexto de 32K.
Comentários
Carregando comentários...