Perplexity apresenta JOLT, novo método de pós-treinamento para IA
O método JOLT utiliza auto-destilação para aumentar a eficiência de modelos de IA, superando o desempenho do GRPO em diversos benchmarks.
||
21/10 às 16:10
Pontos principais
- O JOLT permite que um único modelo atue simultaneamente como professor e aluno.
- No benchmark MATH, o método igualou a precisão do GRPO usando 6,5 vezes menos tokens.
- O modelo obteve um ganho de 9,9 pontos no benchmark AppWorld.
- O JOLT supera o GRPO em tarefas de matemática, codificação e uso de ferramentas.
A Perplexity anunciou o JOLT, um método de pós-treinamento que utiliza auto-destilação para otimizar o desempenho de modelos de inteligência artificial. A técnica permite que um único modelo funcione como professor e aluno, onde o professor fornece feedbacks estruturados para o aprendizado.
Em testes comparativos, o JOLT superou o método GRPO em cinco benchmarks, incluindo codificação e uso de ferramentas. No benchmark MATH, a precisão foi mantida com uma redução de 6,5 vezes no uso de tokens de treinamento, enquanto no AppWorld o ganho foi de 9,9 pontos.
