Reasoning como pathfinding: o que o treinamento com RL realmente otimiza

A tese do texto é direta: raciocínio de LLM funciona como pathfinding no espaço de tokens. Dado um prompt x, existem muitos caminhos z até uma resposta aceita pelo verificador r(x, y), que devolve 1 se a resposta está certa e 0 se não está. O modelo percorre um caminho por amostra. Nenhum caminho individual tem garantia de convergir. A probabilidade de sucesso p_x só aparece no agregado, somando a probabilidade de todos os caminhos que terminam no conjunto de respostas aceitas.

Há dois eixos para subir p_x. O primeiro é amostrar k caminhos (best-of-k), e a chance de acerto sobe de p_x para 1 menos (1 menos p_x) elevado a k. Esse ganho é garantido enquanto p_x for maior que zero, mas escala com o número de amostras, não com o comprimento de cada cadeia. O segundo é treinar o modelo. Com recompensa binária verificável, o gradiente do REINFORCE equivale a um passo de rejection-sampling fine-tuning sobre os caminhos que deram certo, ponderado pela taxa de sucesso M/N. Cadeias mais longas durante o RL aparecem porque os caminhos vencedores tendiam a ser mais longos (backtracking, mais feedback do ambiente ou pura sorte). O custo da busca é amortizado nos pesos: paga-se no treino, e na inference uma amostra tende a bastar. Isso também explica por que forçar uma cadeia a rodar mais ajuda só até certo ponto, como no experimento de acrescentar "Wait" citado no texto, em que a acurácia subiu e depois estabilizou.

O raciocínio aqui conversa com a cobertura anterior do CEVIU sobre RL em LLMs, mas sem tratar do mesmo produto ou evento. Em 28 de setembro de 2026, o CEVIU noticiou "Decifrando o REINFORCE: Uma Visão Visual dos Policy Gradients em LLMs", sobre o algoritmo que o texto agora usa para mostrar a equivalência com rejection-sampling fine-tuning. Em 25 de março de 2026, o CEVIU noticiou o estudo sobre RLVR e tokens críticos para raciocínio. A novidade desta leitura é o enquadramento: o ganho de "pensar mais" vem da busca paga no treino.

Para quem opera modelos de raciocínio, a leitura é que aumentar o orçamento de tokens por resposta tem retorno decrescente e pode piorar o resultado. Amostrar várias vezes com um verificador tende a ser uma alavanca mais previsível. Para quem treina, escalar RL com mais e mais longas amostras também aumenta a chance de o modelo achar brechas em verificadores imperfeitos, então o verificador merece tanto cuidado quanto o volume de compute.