Desenvolvedor executa modelo de linguagem em computador de 1980

Matt Beton adaptou um modelo de linguagem Mamba para rodar em um BBC Micro, utilizando apenas 25KB de memória no processador MOS 6502.

03/08 às 17:40

Pontos principais

O projeto utiliza a arquitetura BitNet com pesos ternários (-1, 0, 1) para otimizar o processamento.
O sistema ocupa 13KB para pesos do modelo e 9KB para o código de inferência.
O processador MOS 6502 de 1975 não possui instrução nativa de multiplicação, exigindo operações de adição e subtração.
A técnica de quantização BitNet permite armazenar 4 parâmetros por byte, totalizando 52 mil parâmetros.
A arquitetura Mamba foi escolhida por manter um estado recorrente de tamanho fixo, evitando o consumo excessivo de memória RAM.
A comunicação entre o computador moderno e o BBC Micro foi feita via cabo de áudio, simulando um leitor de fitas cassete.

O desenvolvedor Matt Beton conseguiu executar um modelo de linguagem autorregressivo em um computador BBC Micro, equipado com o processador MOS 6502 de 1975. O desafio técnico envolveu contornar a limitação de 32KB de memória RAM do hardware original, adaptando um modelo baseado na arquitetura Mamba para operar dentro de um limite estrito de 25KB para código e dados. Para viabilizar a inferência em um chip sem suporte nativo a multiplicações, o projeto utilizou a tecnologia BitNet, que quantiza os pesos para valores ternários. Essa abordagem converte operações complexas de multiplicação de matrizes em sequências simples de adição e subtração, reduzindo drasticamente o custo computacional e o uso de memória. O resultado demonstra a viabilidade de aplicar técnicas modernas de machine learning em hardwares com restrições severas de processamento.

Fontes