Sobre a Construção de Agentes de IA a Partir de Princípios Fundamentais

Mishra desmistifica as abstrações dos frameworks TRL, Unsloth e PRIME-RL, revelando que todo sistema de treinamento de agentes se resume ao mesmo ciclo: prompt leva à ação do modelo, que interage com o ambiente, gera recompensa e, por fim, atualiza o gradiente. Ele demonstra isso construindo um agente simples de texto para diagrama, ao estilo tldraw, usando Python puro. Neste sistema, o modelo emite ações JSON, como criar formas e conectá-las, que são validadas por um "canvas". Uma função de recompensa avalia a validade do JSON, conformidade com o esquema, qualidade do layout e cobertura semântica das palavras-chave do prompt.