DeepSeek libera código-fonte do framework de inferência DeepInfer
A empresa chinesa DeepSeek publicou sob Apache 2.0 o código do DeepInfer, framework que alimenta seus serviços de produção, mas a versão aberta deixa de fora o cache KV e a separação prefill/decode.
Pontos principais
- A DeepSeek publica o DeepInfer sob licença Apache 2.0 e diz que o framework alimenta os serviços de produção da empresa.
- Ficam fora da versão aberta o cache KV, a separação prefill/decode e o balanceamento entre réplicas data-parallel, que a DeepSeek lista como necessários a um serviço de inferência completo.
- Hoje o framework suporta apenas o DeepSeek-V4.1-Flash, em GPUs NVIDIA SM100 e NPUs Huawei Ascend 950.
- Inclui decodificação especulativa com tokens de rascunho, paralelismo de atenção e de especialistas (MoE) e agendamento assíncrono ativo por padrão.
- A DeepSeek não publica números de vazão no texto do README; os gráficos foram medidos em 4 GPUs SM100 no prefill e 64 na decodificação.
- A DeepSeek afirma que código para modelos futuros e otimizações contínuas também será publicado no repositório.
A empresa chinesa DeepSeek anunciou em 20 de outubro a publicação do DeepInfer, framework que, segundo ela, alimenta seus serviços de produção em larga escala. Com a liberação, a DeepSeek diz que quer ajudar a comunidade a reduzir custos de computação e consumo de energia e a tornar a IA mais acessível.
A versão aberta, porém, faz apenas inferência offline. A própria DeepSeek lista cache KV, separação entre prefill e decode e balanceamento entre réplicas como necessários a um serviço completo, e não diz quando eles serão publicados.
Fontes primárias
Introducing DeepInfer, our in-house inference framework, now fully open source!
Post no canal oficial da DeepSeek, publicado em 20/10/2026 às 09:30 UTC: 'Introducing DeepInfer, our in-house inference framework, now fully open source!'. Diz que o framework alimenta o DeepSeek-V4.1-Flash em escala, com alta vazão e baixa latência, e que a empresa está compartilhando sua pilha de produção para que a comunidade reduza custos de computação e consumo de energia e torne a IA mais acessível. O post aponta para o repositório no GitHub.
deepseek-ai/DeepInfer — README
Repositório Apache-2.0 do framework. Segundo o README, o DeepInfer alimenta os serviços de produção em larga escala da DeepSeek; a versão aberta traz inferência offline com os recursos centrais para servir em escala. Ficam de fora o sistema de KV cache, a desagregação prefill/decode e o balanceamento de carga data-parallel. Suporta DeepSeek-V4.1-Flash (checkpoint padrão deepseek-ai/DeepSeek-V4.1-Flash-1017) em GPUs NVIDIA SM100 e NPUs Huawei Ascend 950. Requisitos: Linux, GCC ≥ 13, Python 3.12, CUDA 13 (NVIDIA) ou CANN 9.2 (Ascend). O README não traz números de vazão no texto; os gráficos de Pareto de prefill e decode são imagens, medidas em 4 GPUs SM100 para prefill e 64 para decode.