DeepSeek lança framework DSpark para acelerar inferência de LLMs
O novo framework de código aberto DSpark promete aumentar a velocidade de geração de tokens em até 85% por meio de decodificação especulativa.
Pontos principais
- A tecnologia melhora a velocidade de inferência entre 60% e 85% em comparação com métodos tradicionais.
- O sistema utiliza 'verificação agendada por confiança' para otimizar o uso de recursos computacionais.
- O DSpark é compatível com modelos de pesos abertos como Qwen, Gemma e DeepSeek-V4.
- O lançamento inclui o DeepSpec, conjunto de ferramentas para treinamento e avaliação de sistemas de decodificação.
A DeepSeek anunciou o lançamento do DSpark, um framework de código aberto projetado para otimizar a inferência de grandes modelos de linguagem (LLMs). Utilizando técnicas de decodificação especulativa, a ferramenta alcança ganhos de performance entre 60% e 85% na geração de tokens, reduzindo significativamente a latência e os custos operacionais. O sistema emprega um mecanismo de verificação agendada por confiança para gerenciar o uso de recursos durante o processamento, tornando-se uma solução voltada para laboratórios de IA e equipes de infraestrutura.
Além do framework, a empresa disponibilizou o DeepSpec, um conjunto de ferramentas focado no treinamento e avaliação de sistemas de decodificação. A compatibilidade com modelos populares, como Qwen, Gemma e o próprio DeepSeek-V4, posiciona o DSpark como um recurso estratégico para o desenvolvimento de aplicações de IA em larga escala, como assistentes de codificação e chatbots corporativos que exigem alta eficiência técnica.
Tópicos relacionados
Comentários
Carregando comentários...
