Google DeepMind: RLHF Online com Eficiência de Dados 10x Maior

O novo algoritmo de RLHF online do Google DeepMind não é só mais rápido: ele muda a economia do alinhamento com humanos. Em vez de esperar por lotes grandes e caros de comparações humanas (como 'resposta A ou B é melhor?'), o sistema atualiza os modelos de recompensa e linguagem em tempo real, usando menos de 20 mil rótulos para igualar o desempenho de um treinamento offline com 200 mil, e projeta ganhos de até 1.000× com escala maior. Isso é possível graças a três peças técnicas concretas: um 'empurrão afirmativo' sutil em cada sinal de reforço, uma rede neural epistêmica que mede incerteza interna sobre recompensas e uma política de seleção ativa de pares de respostas que maximiza informação por feedback humano.

Essa abordagem ataca diretamente dois gargalos crônicos do RLHF: o custo proibitivo da anotação humana e a fragilidade dos modelos de recompensa, que muitas vezes incentivam comportamentos enganosos ('reward hacking'). Ao priorizar interações onde a incerteza é alta, o algoritmo reduz ruído e aumenta a taxa de aprendizado real, não apenas a velocidade de processamento.

Menos dados humanos não significa pior alinhamento: significa que empresas e pesquisadores podem iterar mais rápido, testar ajustes éticos ou setoriais com menor custo e reduzir dependência de grandes equipes de anotadores. Para modelos como Gemma, e, por extensão, futuros Gemini, isso acelera ciclos de refinamento sem exigir infraestrutura massiva de coleta. Também abre espaço para RLHF em tempo real em aplicações práticas: assistentes que se adaptam ao estilo de comunicação de um usuário específico à medida que ele interage, ou agentes autônomos que ajustam prioridades com base em feedback contínuo de operadores humanos.