Novo método 'Progressive Point Matching' impulsiona eficiência no treinamento de IA com RL

O Progressive Point Matching (PPM) surge como uma solução para um desafio persistente no Aprendizado por Reforço (RL), especialmente em tarefas de longo horizonte: a eficiência do treinamento. Modelos de Linguagem Grande (LLMs) lidam hoje com sequências de raciocínio que podem durar horas ou dias, exigindo milhões ou até bilhões de tokens. O método padrão de RL, que usa recompensas esparsas (0 ou 1 para sucesso), embora teoricamente sem viés, torna-se ineficaz para essas tarefas. Ele trata uma trajetória que quase teve sucesso da mesma forma que uma que falhou completamente, gerando gradientes de política com relação sinal/ruído que degradam exponencialmente.

O PPM resolve isso ao introduzir um mecanismo de crédito parcial sem comprometer a otimização. Ele identifica 'pontos de raciocínio', que são resultados intermediários cruciais, e atribui progresso conforme esses pontos são alcançados. Um recurso chave é o mecanismo de 'atalho', que garante que uma trajetória bem-sucedida receba crédito total, mesmo que desvie do caminho de referência. Isso mantém o PPM livre de viés assintótico, um problema comum em outros métodos de crédito parcial, e permite um ganho exponencial na velocidade de treinamento, principalmente em subproblemas independentes.

A introdução do PPM marca um passo importante na otimização do treinamento de IA em comparação com abordagens anteriores. Em 2 de setembro de 2026, noticiamos como Mercor e SkyRL conseguiram um aumento de 70% no desempenho APEX-Agents Pass@1 pós-treinamento do modelo Qwen3.5-397B-A17B em tarefas complexas. Enquanto esse avanço focou em pós-treinamento para aprimorar modelos já existentes, o PPM oferece uma melhoria fundamental no próprio processo de Aprendizado por Reforço, abordando a ineficiência intrínseca das recompensas esparsas. Ele permite que o treinamento de modelos de IA, como os utilizados por Mercor e SkyRL, seja feito de forma mais eficiente e em tarefas consideradas quase impossíveis, como problemas de matemática de alta dificuldade.

O PPM é crucial porque permite que agentes de IA lidem com tarefas de raciocínio cada vez mais complexas e de longo prazo com maior eficiência. Ao resolver o problema da ineficiência do treinamento por recompensa esparsa e evitar o viés assintótico de outros métodos de crédito parcial, ele acelera o desenvolvimento de LLMs mais capazes. Isso significa que podemos esperar sistemas de IA que executam tarefas que hoje exigiriam milhões ou bilhões de tokens, com maior acurácia e velocidade. A capacidade de treinar em ambientes de baixo orçamento de tokens para depois escalar para tarefas mais complexas é um salto significativo, impulsionando a corrida global por inovação em IA.