GPT-6 Astra edita pesos do Qwen3.5-0.8B e eleva acerto em matemática
Sem gradiente descendente, o GPT-6 Astra edita 0,016% dos pesos do Qwen3.5-0.8B e leva o MATH-500 de 7,9% para 48,1% com 50 passagens, segundo pesquisadores do MIT (EUA), entre eles Omar Khattab.
Pontos principais
- Os autores são Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, do MIT CSAIL.
- O GPT-6 Astra rastreou os loops de raciocínio do Qwen3.5-0.8B até uma direção escrita pelos MLPs das camadas 15 e 19.
- O Astra subtraiu essa direção de 131.072 pesos (0,016% do modelo), em 64 colunas de cada uma das duas camadas.
- Com 50 passagens, o MATH-500 subiu de 7,9% para 48,1%, o GSM8K de 13,8% para 67,1% e o IFEval de 21,0% para 62,3%.
- Com 10 passagens o MATH-500 foi a 12,3%, e com 25, a 14,1%.
- A fatia de respostas que estouram o limite de 32.768 tokens caiu de 93% para 33,1%.
- No model card publicado no Hugging Face, os autores registram uma re-execução do MATH-500 completo, descrita como independente, com 51,0% de acerto e 31,6% das respostas no limite de tokens.
O trabalho “Sparks of Weight-Space Programming”, de pesquisadores do MIT (EUA), argumenta que LLMs conseguem ler e escrever pesos de redes neurais sem treinamento por gradiente. Os autores pediram ao GPT-6 Astra que melhorasse o Qwen3.5-0.8B em matemática. O modelo identificou que os loops de raciocínio do Qwen vinham de uma direção escrita pelos MLPs (perceptrons multicamadas) das camadas 15 e 19, e a subtraiu de 131.072 pesos, 0,016% do modelo.
O Astra trabalhou num kernel Python sem GPU, sobre os pesos, com 50 passagens; cada passagem podia responder até 512 problemas de treino do GSM8K e do MATH, e ele nunca viu os benchmarks de avaliação. Os autores dizem que os loops não são exclusivos de matemática, por isso o IFEval também subiu. Eles descrevem os resultados como iniciais.
Segundo os autores, editar pesos pode remover um obstáculo que escondia uma habilidade, mas não criar uma que o modelo não tem. No Gemma 3 270M, que quase não entra em loop, a edição não ajudou. Eles preparam um benchmark e um harness para esse tipo de tarefa.
Fontes primárias
Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
Post técnico dos autores (Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab), publicado em 2 de novembro. No experimento 8, o GPT-6 Astra recebe uma sessão Python com os pesos do Qwen3.5-0.8B e um orçamento de 50 forward passes sobre problemas de treino do GSM8K e do MATH, sem treino nem gradientes. Ele identifica os loops de raciocínio que o próprio model card do Qwen avisa e edita 131.072 pesos (0,016% do modelo). Com o mesmo sampling, o MATH-500 vai de 7,9% para 48,1%, o GSM8K de 13,8% para 67,1% e o IFEval de 21,0% para 62,3%; a fração de respostas que estouram o limite de 32.768 tokens cai de 93% para 33%. Com 10 ou 25 forward passes a melhora é menor (MATH-500 de 12,3% e 14,1%). No Gemma 3 270M, que quase não entra em loop, o Astra não conseguiu melhorar nada. Os autores descrevem os resultados como iniciais e dizem que estão construindo um benchmark e um harness para que LLMs explorem e escrevam pesos.
RikiyaT/Qwen3.5-0.8B-weight-space-programming (model card)
Checkpoint publicado pelos autores: Qwen3.5-0.8B editado no experimento 8 do post 'Sparks of Weight-Space Programming'. Só dois tensores diferem do modelo base, os down_proj das camadas 15 e 19, com 131.072 pesos alterados (0,016%) pela subtração de uma direção escrita pelos MLPs dessas camadas. O card reproduz os números do post (MATH-500 48,1%, GSM8K 67,1%, IFEval 62,3%) e traz uma re-execução independente do MATH-500 completo (500 problemas × 4 amostras, vLLM, mesmo protocolo): 51,0% para o modelo editado, com 31,6% das respostas batendo no limite de tokens; o base deu 5,0% num teste de 25 problemas. Os hashes SHA-256 dos dois tensores estão publicados para verificação.
Cobertura da mídia
Rikiya Takehi anuncia o trabalho sobre programação no espaço de pesos
X • 3 nov, 09:00
Qwen3.5-0.8B com programação no espaço de pesos
Huggingface • 3 nov, 09:00
Como edição genética para redes neurais: pesquisadores do MIT usam o GPT-6 Astra para editar pesos abertos do Qwen e melhorar desempenho em matemática
Venturebeat • 3 nov, 09:00