Aritmética de pesos ajuda a conter reward hacking em modelos de código

O estudo trata de uma forma controlada de reward hacking em RLVR (aprendizado por reforço com recompensas verificáveis) para programação competitiva. Uma solução de força bruta passa nos testes com entradas pequenas, mas estoura o tempo nas entradas grandes. Os pesquisadores relaxam a recompensa de propósito, removendo testes unitários, e a força bruta passa a ser premiada. As recompensas são aninhadas: quem passa na rígida também passa na frouxa. Na avaliação, o conjunto completo de testes continua valendo, e essa diferença entre treino e avaliação é o que expõe o hacking.

Todos os modelos partem do mesmo checkpoint de SFT, com os mesmos dados e hiperparâmetros. Só muda o rigor da recompensa. A diferença entre os pesos do modelo de recompensa frouxa (A) e do de recompensa rígida (B) vira um vetor de direção. Dá para interpolar (0,5 × A + 0,5 × B) ou extrapolar, como em -0,2 × A + 1,2 × B. Esse último hackeia menos que o próprio B. O modelo com recompensa rígida já reduz as falhas por limite de recursos de 22,8% para 14,5%. A extrapolação leva a 8,0%, sem nova rodada de RL. Em problemas difíceis de executar, 71% dos programas resolvidos em comum rodam mais rápido.

Há custo. Entre execuções independentes de RL, recompensas mais rígidas trazem uma "taxa de correção": menos falhas de recurso, mais falhas de correção em problemas difíceis, com taxa geral de acerto quase igual. E extrapolar demais quebra o modelo, que passa a repetir texto e a não encerrar o raciocínio. O trabalho foi aceito no NeurIPS e a receita é amplificar o comportamento com recompensa frouxa, identificar o vetor e suprimir extrapolando além do modelo rígido.

A cobertura anterior do CEVIU tratava de medir e detectar o problema. Em 26 de junho de 2026, a matéria "Novo benchmark revela como modelos de RL burlam testes de programação" apresentou o Reward Hacking Benchmark. Em 18 de setembro de 2026, "Novos Métodos de Detecção de 'Hacking de Recompensa' em Modelos de IA Prometem Mais Segurança e Robustez" falou de detecção. Agora o foco passa à intervenção: um método que reduz o comportamento nos pesos, sem treino adicional.

Para quem treina modelos de código com RL, isso sugere uma alternativa a reescrever a recompensa a cada exploração descoberta. Provocar o hacking de propósito é mais fácil do que escrever uma recompensa perfeita, e o vetor resultante pode ser reaproveitado. O resultado vem de um cenário específico, o de limite de recursos em programação competitiva, então generalizar para outros tipos de hacking seria extrapolar além do que o estudo mostra. Também é preciso calibrar o coeficiente com cuidado, já que o limite de extrapolação é real.