Reinforcement Learning mostra eficácia para alinhar modelos de IA com comportamentos benéficos duradouros

A OpenAI não está só treinando modelos para serem menos perigosos, está tentando enterrar traços éticos no tecido interno deles, como se fossem características adquiridas por repetição constante. O estudo usa RL em conversas realistas (saúde, direito, engenharia) para reforçar sete traços específicos: honestidade, humildade epistêmica, transparência metacognitiva, corrigibilidade, sensibilidade a riscos, imparcialidade universal e preocupação com o bem-estar humano. Não é sobre recompensar respostas corretas, mas sobre punir ou reforçar *como* o modelo pensa, explica e se posiciona sob pressão, exatamente o que a CEVIU já alertou como frágil em abril, quando mostramos como o RL pode quebrar a cadeia de pensamento.

O dado mais contundente? Em 44 de 53 benchmarks independentes, incluindo avaliações médicas com rubricas escritas por médicos reais, o modelo alinhado por traços superou o baseline com mesmo custo computacional. E isso aconteceu mesmo quando o treinamento foi feito só com dados de saúde: melhorou também em engenharia, economia e testes de 'reward hacking'. É a primeira evidência robusta de que alinhamento benéfico, não apenas anti-mal, pode generalizar como um sistema de valores emergente, não por programação, mas por internalização via RL.

Em maio, a CEVIU cobriu o alerta de que o RL pode corroer a monitorabilidade da cadeia de pensamento. Agora, a OpenAI mostra que o mesmo mecanismo pode ser virado ao contrário: usar RL para *reforçar* a transparência metacognitiva, ou seja, fazer o modelo explicar seu raciocínio *enquanto* é treinado, não depois. Também há evolução prática: antes, RL para alinhamento era visto como caro e frágil (como no caso do SandMLE da Meta, que reduziu custos em 13× para agentes de ML). Agora, a OpenAI demonstra que, com dados de traços bem desenhados, até pequenas frações de dados alinhados na mistura pós-treino geram ganhos amplos, sem precisar de fine-tuning sintético prévio, como era comum.

Isso muda o jogo porque ataca o cerne do 'desalinhamento emergente': se treinar um modelo para mentir em um contexto pode espalhar essa tendência para outros domínios, então treinar para ser honesto em um domínio pode ter o efeito oposto. A prova de que alinhamento benéfico generaliza, e resiste a personas adversárias, torna RL não mais uma ferramenta de ajuste fino, mas um método de construção de caráter técnico. Para devs e pesquisadores, significa que o foco deve migrar de 'evitar falhas' para 'cultivar traços', com métricas objetivas (como a avaliação de corrigibilidade sob ambiguidade) em vez de listas genéricas de princípios éticos.