O Grep é tudo o que você precisa? A importância do Harness na busca

O debate 'O Grep é tudo o que você precisa?' ganhou nova dimensão com estudos empíricos de maio de 2026 da PricewaterhouseCoopers U.S., que compararam Grep (busca lexical exata) e busca vetorial em cenários de question answering com agentes de IA. Os resultados mostram que, quando os resultados são entregues inline no contexto do modelo — ou seja, colados diretamente no prompt — o Grep supera consistentemente a busca semântica: com Chronos + Gemini 3.1 Flash-Lite, atingiu 86,2% de precisão contra 62,9% da busca vetorial; com Claude Opus 4.6 + Chronos, alcançou 93,1%. Isso ocorre porque o Grep preserva fielmente entidades críticas como nomes próprios, datas e códigos, que embeddings vetoriais frequentemente distorcem ou descartam ao mapear semântica.

No entanto, essa superioridade desaparece drasticamente quando o 'harness' muda para entrega via arquivos: nesse modo programático, onde o agente deve ler os resultados de um arquivo externo, a precisão do Grep despencou para 55% em um dos testes — invertendo a vantagem. O estudo confirma que o 'agent harness' (estrutura de execução que orquestra queries, chamadas de ferramentas e formatação dos resultados) tem impacto comparável à escolha entre Grep e busca vetorial: mudar o harness pode gerar variações de desempenho tão grandes quanto trocar o próprio mecanismo de busca.

Essa descoberta é crucial para desenvolvedores e equipes de IA que constroem sistemas RAG (Retrieval-Augmented Generation) e agentes agênticos: otimizar apenas o retriever (ex.: trocar Chroma por Qdrant) ou apenas o LLM (ex.: migrar de Claude Opus 4.6 para Gemini 3.1 Flash-Lite) não garante melhoria se o 'harness' for mal projetado. A forma como os resultados são injetados — inline ou como referência a arquivos — afeta diretamente a capacidade do modelo de interpretar dados literais. Em ambientes de DevOps, logs de auditoria da Harness.io podem ser exportados para Splunk Enterprise ou Datadog, mas essas plataformas dependem de pré-processamento com ferramentas como Grep ou ripgrep para filtragem rápida antes da ingestão — mostrando que Grep não é obsoleto, mas parte de um pipeline hierárquico.

Para engenheiros de software e MLOps, isso significa repensar o design de pipelines de busca: usar ripgrep (mais rápido que Grep padrão, respeita .gitignore e ignora binários) como primeira camada de filtragem lexical, seguida por busca vetorial refinada apenas nos subconjuntos relevantes — uma abordagem híbrida validada pelos dados. Além disso, frameworks como LangChain e LlamaIndex agora incorporam 'harness-aware' retrieval strategies, permitindo configurar dinamicamente o modo de entrega (inline vs. file-based) conforme o modelo alvo (ex.: GPT-5.6, Claude Opus 4.6, Gemini 3). Ignorar o 'harness' leva a benchmarks enganosos: um sistema pode ter 90% de acurácia com Grep inline + Claude Opus 4.6, mas cair para menos de 60% com o mesmo Grep em modo de arquivo — o que explica falhas recorrentes em QA em produção com agentes baseados em ferramentas.