Ambientes de RL devem embutir na recompensa as regras não escritas de cada domínio

O autor parte de uma observação: depois do GPT-6 Astra, tarefas de agentes que operam computador (CUA) em interfaces conhecidas, como Microsoft Word e Google Workspace, deixaram de ser um desafio. Operar o app virou, nas palavras dele, quase recuperação de informação. A dificuldade que sobra está em saber atingir um objetivo, não só executar a tarefa. Mandar um e-mail pedindo mais vagas não garante conseguir a vaga, e parte do conhecimento necessário não está documentada em lugar nenhum.

A proposta técnica tem alguns pilares. Primeiro, o ambiente guarda estado organizacional além dos documentos: quem sabe o quê, quem pode aprovar o quê, quanto orçamento resta e quais promessas já foram feitas. Esse estado precisa persistir entre chamadas de ferramenta. Segundo, o avaliador checa o resultado autorizado (uma posição aprovada, orçamento existente) e não o evento intermediário. Se a contratação está congelada, a condição de conclusão muda: reportar a restrição ou achar uma alternativa permitida. Terceiro, o mundo precisa ser cheio e bagunçado, com arquivos que se referenciam, versões obsoletas e nomes escritos de dois jeitos. O texto descreve extrair de dados reais de empresas (esqueleto organizacional, regras e processos, estatísticas de textura, fontes de tarefa), descartar o conteúdo original e reconstruir, com um especialista de domínio validando cada regra. Quarto, um único mundo é exposto por tela, API e linha de comando, lendo e escrevendo o mesmo estado. Isso permite variar a dificuldade trocando as superfícies e medir a eficiência separadamente. A proposta inclui ainda perturbações como eixo da distribuição de tarefas (conteúdo, interface, instrução, social e organizacional) e um experimento que mantém o software fixo e muda a organização por trás, comparando fluxos fixos com organizações que reagem ao agente.

A cobertura anterior do CEVIU trata de ambientes de RL, mas sem o mesmo foco. Em 6 de abril de 2026, o CEVIU publicou "Uma Taxonomia de Ambientes de RL para Agentes LLM", que destacava a distribuição de tarefas como definidora das habilidades que os agentes desenvolvem. Em 6 de agosto de 2026, "Ambientes de Reinforcement Learning revolucionam o treinamento de agentes de IA" abordou dados de tarefa estruturados e infraestrutura de pontuação. Em 16 de outubro de 2026, "Complexidade Inesperada do Reinforcement Learning em Agentes de IA" apontou as camadas de dificuldade do treinamento pós-agente. A notícia atual, de 26 de outubro de 2026, acrescenta um argumento específico: o que falta nesses ambientes são as regras não escritas do domínio dentro da recompensa e um estado organizacional que responda ao agente.

Para quem constrói ou usa ambientes de RL, a leitura é que medir só a operação do software gasta o orçamento de treino no que os modelos já fazem bem. Se a proposta se sustentar, o custo migra para o design de mundo, regras e avaliadores, onde pesa o trabalho de especialistas de domínio. O texto é uma proposta e um experimento desejado, não resultado medido.