---
title: "GPT-6 Astra edita pesos do Qwen3.5-0.8B e eleva acerto em matemática"
url: https://dailyjournal.news/news/2026-11-03/gpt-6-astra-edita-pesos-do-qwen35-08b-e-eleva-acerto-em-matematica
published: 2026-11-03T12:00:00+00:00
updated: 2026-11-03T14:30:30.352404+00:00
categories: ["technology"]
source_count: 4
outlet_count: 0
language: pt-BR
publisher: "Daily Journal"
---

# GPT-6 Astra edita pesos do Qwen3.5-0.8B e eleva acerto em matemática

Sem gradiente descendente, o GPT-6 Astra edita 0,016% dos pesos do Qwen3.5-0.8B e leva o MATH-500 de 7,9% para 48,1% com 50 passagens, segundo pesquisadores do MIT (EUA), entre eles Omar Khattab.

## Pontos principais

- Os autores são Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab, do MIT CSAIL.
- O GPT-6 Astra rastreou os loops de raciocínio do Qwen3.5-0.8B até uma direção escrita pelos MLPs das camadas 15 e 19.
- O Astra subtraiu essa direção de 131.072 pesos (0,016% do modelo), em 64 colunas de cada uma das duas camadas.
- Com 50 passagens, o MATH-500 subiu de 7,9% para 48,1%, o GSM8K de 13,8% para 67,1% e o IFEval de 21,0% para 62,3%.
- Com 10 passagens o MATH-500 foi a 12,3%, e com 25, a 14,1%.
- A fatia de respostas que estouram o limite de 32.768 tokens caiu de 93% para 33,1%.
- No model card publicado no Hugging Face, os autores registram uma re-execução do MATH-500 completo, descrita como independente, com 51,0% de acerto e 31,6% das respostas no limite de tokens.

O trabalho “Sparks of Weight-Space Programming”, de pesquisadores do MIT (EUA), argumenta que LLMs conseguem ler e escrever pesos de redes neurais sem treinamento por gradiente. Os autores pediram ao GPT-6 Astra que melhorasse o Qwen3.5-0.8B em matemática. O modelo identificou que os loops de raciocínio do Qwen vinham de uma direção escrita pelos MLPs (perceptrons multicamadas) das camadas 15 e 19, e a subtraiu de 131.072 pesos, 0,016% do modelo.

O Astra trabalhou num kernel Python sem GPU, sobre os pesos, com 50 passagens; cada passagem podia responder até 512 problemas de treino do GSM8K e do MATH, e ele nunca viu os benchmarks de avaliação. Os autores dizem que os loops não são exclusivos de matemática, por isso o IFEval também subiu. Eles descrevem os resultados como iniciais.

Segundo os autores, editar pesos pode remover um obstáculo que escondia uma habilidade, mas não criar uma que o modelo não tem. No Gemma 3 270M, que quase não entra em loop, a edição não ajudou. Eles preparam um benchmark e um harness para esse tipo de tarefa.

## Fontes

- [Rikiya Takehi anuncia o trabalho sobre programação no espaço de pesos](https://x.com/rikiyatakehi/status/2117313812768665832) (2026-11-03)
- [Qwen3.5-0.8B com programação no espaço de pesos](https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming) (2026-11-03)
- [Como edição genética para redes neurais: pesquisadores do MIT usam o GPT-6 Astra para editar pesos abertos do Qwen e melhorar desempenho em matemática](https://venturebeat.com/technology/like-gene-editing-for-neural-networks-mit-researchers-used-gpt-6-astra-to-edit-qwens-open-weights-directly-boosting-math-performance) (2026-11-03)
- [Faíscas de programação no espaço de pesos](https://rikiyat.github.io/blog/weight-space-programming/) (2026-11-03)

---

Publicado por Daily Journal. Versão HTML: https://dailyjournal.news/news/2026-11-03/gpt-6-astra-edita-pesos-do-qwen35-08b-e-eleva-acerto-em-matematica