Perplexity apresenta JOLT, método de self-distillation que adapta o feedback ao nível do aluno

O problema de partida é conhecido: no RL pós-treinamento, uma recompensa única por resultado é um sinal esparso. Ela não diz quais ações intermediárias ajudaram ou atrapalharam, e isso pesa mais em tarefas de agente, onde as tentativas são longas e os acertos raros. A On-Policy Distillation (OPD) ataca isso com um professor mais forte que avalia token a token as tentativas do próprio aluno. A On-Policy Self-Distillation (OPSD) tira o professor externo: o mesmo modelo, com informação privilegiada (uma solução verificada, por exemplo), faz o papel de professor.

O JOLT (Joint On-policy Learning and Teaching) parte do OPSD e treina os dois papéis juntos, num único conjunto de parâmetros. A crítica ao OPSD é que ele só ensina o aluno a imitar, sem garantia de que o professor dê um sinal útil. No JOLT, o professor aprende com recompensas de resultado, com regularização KL em direção ao aluno, e o aluno aprende com o sinal denso do professor. A noção central é a de professor "reward-consistent": aquele cuja atualização de destilação no aluno equivale, a menos de escala positiva, ao gradiente de política da recompensa do aluno. Como as vantagens de continuação do aluno não estão disponíveis, a Perplexity usa retornos centrados das tentativas do próprio professor como substituto, e admite que a troca não é exata. O JOLT+ soma ao sinal de destilação a recompensa de resultado do aluno.

Os experimentos usam GSM8K (DeepSeek-V2-Lite), MATH (Qwen3-0.6B), LiveCodeBench v6 (Qwen3-8B), AppWorld (Qwen3-4B-Instruct) e Terminal-Bench 2.1 (Qwen3-30B-A3B-Instruct), comparando com GRPO, OPSD e π-Distill. Segundo a empresa, o JOLT+ tem a maior média em todos os cenários e supera o GRPO em 1,5 ponto percentual no GSM8K, 4,2 no MATH, 3,0 no LCBv6, 9,9 no AppWorld e 2,7 no pass@1 do Terminal-Bench 2.1. No Terminal-Bench, o JOLT+ vai de 10,96% (pass@1) a 34,83% (pass@32). O JOLT sem recompensa direta do aluno bate o GRPO em GSM8K, MATH e LCBv6, mas fica abaixo dele e do π-Distill no AppWorld, e abaixo do GRPO no Terminal-Bench. O OPSD fica abaixo do modelo base em todos os k desse benchmark.

Na eficiência, no MATH, o JOLT estabiliza perto de 72%, contra cerca de 70% do GRPO e 62% do OPSD. Para igualar 63,44% de acurácia, o GRPO usou 8,40 milhões de tokens e a curva ajustada do JOLT dá 1,30 milhão, ou 6,5 vezes menos. Contando só tokens de completion, a diferença sobe para cerca de 13 vezes. É resultado da própria empresa, em modelos pequenos e médios, e a fonte não mostra replicação independente.

A cobertura anterior ajuda a situar a linha de trabalho. Em 26 de maio de 2026, o CEVIU publicou "Destilação On-Policy: Um Novo Paradigma para Treinamento de Modelos Aluno", sobre treinar o aluno em trajetórias da própria policy com supervisão densa por token de um professor, via regularização KL. É a base que o JOLT usa. A diferença é que o professor deixa de ser fixo e passa a ser treinado junto com o aluno. Em 5 de outubro de 2026, o CEVIU noticiou "IA aprende e corrige a si mesma em tempo real", sobre o UniEvo-VL, modelo multimodal que atua como professor e aluno. A ideia de papel duplo é parecida, mas são trabalhos distintos, e o material não liga um ao outro.

Para quem treina agentes com RL, o ponto prático é o custo: se o ganho de eficiência se sustentar fora do MATH, dá para chegar à mesma acurácia com bem menos tokens. Para quem já usa OPSD, o recado é que imitar um professor com informação privilegiada não basta, e o OPSD abaixo do modelo base no Terminal-Bench mostra o risco. Já os resultados mistos do JOLT sem recompensa do aluno em tarefas de agente sugerem que, nessas tarefas, o sinal de resultado direto ainda faz diferença.