DeepSeek libera framework de inferência DeepInfer como código aberto

A DeepSeek anunciou a disponibilização em código aberto do DeepInfer, seu framework interno de inferência, acompanhado pelo componente deepseek-recipe. A tecnologia, que sustenta os serviços de produção da empresa e o modelo DeepSeek-V4.1-Flash, foi liberada sob a licença Apache 2.0 com o objetivo de otimizar o desempenho de chips e reduzir os custos operacionais de implantação de modelos de inteligência artificial.

O framework integra kernels de alto desempenho, incluindo o FlashMLA, que alcançou 580 TFLOPS de atenção em hardware H800, e o DeepGEMM, que atingiu mais de 1350 TFLOPS em operações FP8 matmul. Além disso, a solução oferece suporte a paralelismo avançado, decodificação especulativa e otimizações de comunicação para modelos de especialistas (MoE). Segundo a empresa, a iniciativa visa facilitar a adoção de tecnologias de inferência mais eficientes pela comunidade, permitindo que desenvolvedores utilizem a mesma stack de produção que sustenta os serviços da DeepSeek em hardware como GPUs NVIDIA SM100 e NPUs Huawei Ascend 950.