Melhorei 15 LLMs em Codificação em Uma Tarde: Apenas o 'Harness' Mudou

A performance de LLMs em tarefas de codificação é intrinsecamente limitada pelo "harness" – o conjunto de ferramentas e interfaces que gerencia suas interações – e não exclusivamente pelos próprios modelos. A ferramenta de edição "Hashline" foi desenvolvida para endereçar essa questão, marcando linhas de código com hashes de conteúdo. Isso permite que LLMs realizem edições precisas ao referenciar essas tags, eliminando a dependência da recordação perfeita do conteúdo. Um benchmark com 16 LLMs demonstrou que o Hashline superou consistentemente os formatos tradicionais de "Patch" e "Replace", evidenciando um método mais eficaz para aprimorar a capacidade de codificação desses modelos. ️