Motor de inferência Colibrì permite rodar modelo GLM-5.2 em PCs comuns
O novo motor Colibrì possibilita executar o modelo de IA GLM-5.2, com 744 bilhões de parâmetros, em computadores domésticos com apenas 25GB de RAM.
Pontos principais
- O Colibrì utiliza uma arquitetura que lê dados do SSD sob demanda, evitando a necessidade de carregar todo o modelo na memória RAM ou VRAM.
- O modelo GLM-5.2 emprega a estrutura Mixture-of-Experts (MoE), ativando apenas cerca de 40 bilhões de parâmetros por token gerado.
- O motor armazena partes densas do modelo em 4 bits na RAM (aprox. 9,9 GB) e mantém os 21.504 especialistas em armazenamento local (370 GB).
- Desenvolvido em linguagem C, o Colibrì não possui dependências externas e não exige o uso de placas de vídeo (GPU).
- A velocidade de processamento é limitada, variando entre 0,05 e 0,1 tokens por segundo em hardware de teste com 12 núcleos de CPU.
- O sistema inclui um cache LRU e um mecanismo de aprendizado para fixar especialistas frequentemente utilizados na RAM, otimizando futuras execuções.
O motor de inferência Colibrì, criado pelo desenvolvedor vforno, foi lançado para democratizar o acesso a modelos de linguagem de grande escala, como o GLM-5.2 da Z.ai. Com 744 bilhões de parâmetros, o GLM-5.2 é um modelo de alta performance capaz de lidar com contextos de até 1 milhão de tokens, mas que tradicionalmente exigiria hardware de nível empresarial. A solução do Colibrì reside em sua capacidade de transmitir especialistas (experts) do SSD para a RAM conforme a necessidade, utilizando uma implementação em C puro de aproximadamente 1.300 linhas que dispensa bibliotecas externas ou Python.
Embora o Colibrì permita que usuários rodem modelos massivos em máquinas com 25GB de RAM e processadores compatíveis com AVX2, o foco do projeto é a viabilidade funcional em vez da velocidade. Devido à necessidade de leitura constante do armazenamento, a geração de texto é lenta, podendo levar vários minutos para respostas curtas. O desenvolvedor busca agora contribuições da comunidade para otimizar o código e realizar medições precisas sobre a degradação de acurácia causada pela quantização de 4 bits.
Comentários
Carregando comentários...