Daily Journal
Daily Journal

Google lança DiffusionGemma, modelo aberto de difusão de texto 4x mais rápido

MoE de 26 bi de parâmetros gera texto em paralelo e supera 1.000 tokens/s em uma NVIDIA H100, sob licença Apache 2.0.

Daily Journal
||
15/07 às 09:00

Pontos principais

  • Modelo aberto experimental sob licença Apache 2.0, um MoE de 26 bilhões de parâmetros.
  • Gera blocos de texto em paralelo via difusão, até 4x mais rápido em GPUs.
  • Supera 1.000 tokens/s em uma NVIDIA H100 e 700 tokens/s em uma RTX 5090.
  • Ativa apenas 3,8 bilhões de parâmetros na inferência e cabe em 18GB de VRAM quantizado.
  • Pesos no Hugging Face; qualidade inferior à do Gemma 4 padrão.

O Google lançou o DiffusionGemma, um modelo aberto experimental sob licença Apache 2.0 e arquitetura Mixture-of-Experts (MoE) de 26 bilhões de parâmetros. Em vez de gerar token por token, o modelo produz blocos de texto em paralelo via difusão, alcançando geração até 4x mais rápida em GPUs — mais de 1.000 tokens por segundo em uma única NVIDIA H100 e mais de 700 tokens por segundo em uma RTX 5090.

O modelo ativa apenas 3,8 bilhões de parâmetros durante a inferência e cabe em 18GB de VRAM quando quantizado, com pesos disponíveis no Hugging Face. O Google reconhece que a qualidade da saída é inferior à do Gemma 4 padrão e posiciona o modelo para fluxos de trabalho locais e de baixa concorrência, como edição in-line, preenchimento de código (code infilling) e iteração rápida.

Comentários

Carregando comentários...