Google lança DiffusionGemma, modelo aberto de difusão de texto 4x mais rápido
MoE de 26 bi de parâmetros gera texto em paralelo e supera 1.000 tokens/s em uma NVIDIA H100, sob licença Apache 2.0.
Pontos principais
- Modelo aberto experimental sob licença Apache 2.0, um MoE de 26 bilhões de parâmetros.
- Gera blocos de texto em paralelo via difusão, até 4x mais rápido em GPUs.
- Supera 1.000 tokens/s em uma NVIDIA H100 e 700 tokens/s em uma RTX 5090.
- Ativa apenas 3,8 bilhões de parâmetros na inferência e cabe em 18GB de VRAM quantizado.
- Pesos no Hugging Face; qualidade inferior à do Gemma 4 padrão.
O Google lançou o DiffusionGemma, um modelo aberto experimental sob licença Apache 2.0 e arquitetura Mixture-of-Experts (MoE) de 26 bilhões de parâmetros. Em vez de gerar token por token, o modelo produz blocos de texto em paralelo via difusão, alcançando geração até 4x mais rápida em GPUs — mais de 1.000 tokens por segundo em uma única NVIDIA H100 e mais de 700 tokens por segundo em uma RTX 5090.
O modelo ativa apenas 3,8 bilhões de parâmetros durante a inferência e cabe em 18GB de VRAM quando quantizado, com pesos disponíveis no Hugging Face. O Google reconhece que a qualidade da saída é inferior à do Gemma 4 padrão e posiciona o modelo para fluxos de trabalho locais e de baixa concorrência, como edição in-line, preenchimento de código (code infilling) e iteração rápida.
Comentários
Carregando comentários...
