Microsoft e Hugging Face usam estado do banco de dados como reward de RL para pós-treinar agentes com o ThinkingBox

O ThinkingBox-Bench tem 507 tarefas. Cada uma sobe um backend real, entrega ao agente um conjunto de ferramentas MCP e um usuário simulado por LLM com contexto privado. No fim, checagens executáveis olham o estado terminal do banco de dados, não as chamadas de ferramenta. Como boa parte das tarefas devolve 1 ou 0 direto desse estado, os autores passaram a usar o mesmo sinal como reward de RL em tarefas de treino de fora do benchmark. Nenhuma tarefa do ThinkingBox-Bench entrou no pool de treino, mas o framework, o simulador de usuário, a avaliação por estado terminal e algumas ferramentas são compartilhados, o que limita o alcance da alegação de transferência.

O treino usou Qwen3.8-27B, com GRPO de parâmetros completos, 187 tarefas, 18 grupos de 8 rollouts por atualização (144 episódios) em 24 H100s, 50 steps. A seleção das tarefas é feita uma vez, offline, com a política base. Cada tarefa é testada n vezes, a probabilidade de sucesso é modelada com posterior de Jeffreys, e ela cai em faixas. São descartadas as raramente resolvidas (abaixo de 0,08) e as quase sempre resolvidas (acima de 0,90). O motivo é aritmético: grupos com recompensa toda 0 ou toda 1 não geram vantagem no GRPO. O pass@1 passou de 51,70% para 60,78% e as tarefas com 20/20 foram de 38 para 107, com queda pequena no pass@20. Segundo os autores, o padrão é compatível com um afinamento da distribuição, e não com um modelo mais amplo. O custo estimado por tentativa bem-sucedida caiu de US$ 0,177 para US$ 0,139. Esse índice é comparativo, considera só inferência e exclui o custo do treino e das sondagens de dificuldade.

Para quem opera agentes sobre bancos de produção, o recado é que confiabilidade repetível pode ser treinada com um verificador barato, sem rubrica subjetiva. A ressalva é o custo escondido: cada rollout provisiona um backend isolado e chama outro modelo como usuário. Também pesa a perda de cobertura em varejo, viagens e seguro auto, e o fato de que o ganho foi medido num benchmark que compartilha o framework com o treino.