Daily Journal
Daily Journal

DeepSeek lança framework DSpark para acelerar inferência de LLMs

O novo framework de código aberto DSpark promete aumentar a velocidade de geração de tokens em até 85% por meio de decodificação especulativa.

Daily Journal
Foto: Venturebeat
||
29/06 às 18:04

Pontos principais

  • A tecnologia melhora a velocidade de inferência entre 60% e 85% em comparação com métodos tradicionais.
  • O sistema utiliza 'verificação agendada por confiança' para otimizar o uso de recursos computacionais.
  • O DSpark é compatível com modelos de pesos abertos como Qwen, Gemma e DeepSeek-V4.
  • O lançamento inclui o DeepSpec, conjunto de ferramentas para treinamento e avaliação de sistemas de decodificação.

A DeepSeek anunciou o lançamento do DSpark, um framework de código aberto projetado para otimizar a inferência de grandes modelos de linguagem (LLMs). Utilizando técnicas de decodificação especulativa, a ferramenta alcança ganhos de performance entre 60% e 85% na geração de tokens, reduzindo significativamente a latência e os custos operacionais. O sistema emprega um mecanismo de verificação agendada por confiança para gerenciar o uso de recursos durante o processamento, tornando-se uma solução voltada para laboratórios de IA e equipes de infraestrutura.

Além do framework, a empresa disponibilizou o DeepSpec, um conjunto de ferramentas focado no treinamento e avaliação de sistemas de decodificação. A compatibilidade com modelos populares, como Qwen, Gemma e o próprio DeepSeek-V4, posiciona o DSpark como um recurso estratégico para o desenvolvimento de aplicações de IA em larga escala, como assistentes de codificação e chatbots corporativos que exigem alta eficiência técnica.

Tópicos relacionados

Comentários

Carregando comentários...