---
title: "Moonshot AI propõe Attention Residuals para transformers com 1,25x de eficiência"
url: https://dailyjournal.news/news/2026-03-18/moonshot-ai-propoe-attention-residuals-para-transformers-com-125x-de-eficiencia
published: 2026-03-18T12:00:00+00:00
categories: ["technology"]
source_count: 2
outlet_count: 0
language: pt-BR
publisher: "Daily Journal"
---

# Moonshot AI propõe Attention Residuals para transformers com 1,25x de eficiência

Troca drop-in das conexões residuais por atenção softmax entre camadas resolve diluição PreNorm no Kimi Linear (48B/3B ativos).

## Pontos principais

- Attention Residuals substitui conexões residuais fixas por atenção softmax entre camadas
- Block AttnRes é variante prática com overhead mínimo e compatível drop-in
- Resolve o problema de diluição PreNorm que dilui progressivamente a contribuição de cada camada
- Integrado ao Kimi Linear (48B total / 3B parâmetros ativos) e pré-treinado em 1,4T tokens
- Melhoria de 1,25x em eficiência compute-equivalent

O time Kimi da Moonshot AI propôs Attention Residuals (AttnRes), que substitui as conexões residuais fixas em transformers por atenção softmax sobre outputs de camadas anteriores. A variante prática, Block AttnRes, particiona camadas em blocos e serve como troca drop-in com overhead mínimo. Integrado ao Kimi Linear (48B total / 3B parâmetros ativos) e pré-treinado em 1,4T tokens, o AttnRes resolve a diluição PreNorm e entrega 1,25x de eficiência compute-equivalent.

## Fontes

- [Attention Residuals da Moonshot AI para o Kimi pode mudar como modelos de IA usam camadas](https://nerdschalk.com/moonshot-ais-attention-residuals-for-kimi-could-change-how-ai-models-use-layers/) (2026-03-18)
- [Attention Residuals: Relatório Técnico](https://arxiv.org/pdf/2603.15031) (2026-03-18)

---

Publicado por Daily Journal. Versão HTML: https://dailyjournal.news/news/2026-03-18/moonshot-ai-propoe-attention-residuals-para-transformers-com-125x-de-eficiencia