Um pouco de determinismo para agentes de IA

O autor do post, que trabalha na Sentry, descreve como a equipe tenta criar comportamento determinístico no Junior, agente open source ligado ao Slack. Ele nasceu para transformar threads em issues do GitHub e hoje é usado para entregar software na empresa. O ponto de partida é simples: restringir demais o agente o deixa menos capaz, e instruções em skills, AGENTS.md ou system prompt quase nunca resolvem sozinhas.

A solução que mais funcionou foi um proxy de egress man-in-the-middle, rodando no firewall da Vercel. Ele aplica dois padrões: negar ações e forçar reações por mensagens automáticas. Se o agente chama gh pr create no shell, o proxy lê a mutation GraphQL createPullRequest e rejeita. A resposta orienta o agente a usar a ferramenta github_createPullRequest, que acrescenta o rodapé e o co-authored-by em 100% dos casos. O proxy distingue as origens porque as requisições do sandbox levam um token assinado. Ele também esconde credenciais do agente e limita permissões, já que o Junior não pode aprovar PRs mesmo com um token que permitiria.

O segundo padrão são os watches, um sistema parecido com webhooks. Eventos como falha de CI, comentários de review, aprovações e merge entram como mensagens de usuário com marcação especial, em vez de loops do tipo "verifique o PR a cada 5 minutos". O mesmo truque vale para a escolha do repositório: o proxy rejeita a chamada se o sandbox estiver na imagem padrão, e o agente descarta o sandbox e cria outro com as dependências certas.

Para quem opera agentes com acesso a shell e sistemas internos, a leitura é que a camada de rede serve também como ponto de controle de comportamento, não só de segurança. Regras aplicadas fora do prompt são verificáveis, e o agente mantém a liberdade de escolher ferramentas. O próprio autor diz que a abordagem não depende da Vercel e que mais treino de modelo ou mais prompt dificilmente eliminariam essa necessidade.