Melhorei 15 LLMs em codificação em uma tarde. Apenas o harness foi alterado

Não há consenso sobre a melhor solução para o problema de como LLMs efetuam mudanças em código. As ferramentas atuais não oferecem aos modelos um identificador estável e verificável para as linhas a serem modificadas, desperdiçando muito contexto e exigindo perfect recall. Este post propõe uma solução inovadora : ao ler um arquivo ou buscar algo, cada linha é retornada com um content hash de 2-3 caracteres. Quando o modelo edita, ele referencia essas tags. Essa abordagem resultou em uma melhoria de mais de 8% na taxa de sucesso do Gemini, com custo zero de training compute.