O Grep é tudo o que você precisa? A importância do Harness na busca

O debate 'O Grep é tudo o que você precisa?' ganhou nova dimensão com estudos empíricos de maio de 2026 da PricewaterhouseCoopers U.S., que compararam Grep (busca lexical exata) e busca vetorial em cenários de question answering com agentes de IA. Os resultados mostram que, quando os resultados são entregues inline no contexto do modelo, ou seja, colados diretamente no prompt, o Grep supera consistentemente a busca semântica: com Chronos + Gemini 3.1 Flash-Lite, atingiu 86,2% de precisão contra 62,9% da busca vetorial; com Claude Opus 4.6 + Chronos, alcançou 93,1%. Isso ocorre porque o Grep preserva fielmente entidades críticas como nomes próprios, datas e códigos, que embeddings vetoriais frequentemente distorcem ou descartam ao mapear semântica.

No entanto, essa superioridade desaparece drasticamente quando o 'harness' muda para entrega via arquivos: nesse modo programático, onde o agente deve ler os resultados de um arquivo externo, a precisão do Grep despencou para 55% em um dos testes, invertendo a vantagem. O estudo confirma que o 'agent harness' (estrutura de execução que orquestra queries, chamadas de ferramentas e formatação dos resultados) tem impacto comparável à escolha entre Grep e busca vetorial: mudar o harness pode gerar variações de desempenho tão grandes quanto trocar o próprio mecanismo de busca.

Essa descoberta é crucial para desenvolvedores e equipes de IA que constroem sistemas RAG (Retrieval-Augmented Generation) e agentes agênticos: otimizar apenas o retriever (ex.: trocar Chroma por Qdrant) ou apenas o LLM (ex.: migrar de Claude Opus 4.6 para Gemini 3.1 Flash-Lite) não garante melhoria se o 'harness' for mal projetado. A forma como os resultados são injetados, inline ou como referência a arquivos, afeta diretamente a capacidade do modelo de interpretar dados literais. Em ambientes de DevOps, logs de auditoria da Harness.io podem ser exportados para Splunk Enterprise ou Datadog, mas essas plataformas dependem de pré-processamento com ferramentas como Grep ou ripgrep para filtragem rápida antes da ingestão, mostrando que Grep não é obsoleto, mas parte de um pipeline hierárquico.

Para engenheiros de software e MLOps, isso significa repensar o design de pipelines de busca: usar ripgrep (mais rápido que Grep padrão, respeita .gitignore e ignora binários) como primeira camada de filtragem lexical, seguida por busca vetorial refinada apenas nos subconjuntos relevantes, uma abordagem híbrida validada pelos dados. Além disso, frameworks como LangChain e LlamaIndex agora incorporam 'harness-aware' retrieval strategies, permitindo configurar dinamicamente o modo de entrega (inline vs. file-based) conforme o modelo alvo (ex.: GPT-5.6, Claude Opus 4.6, Gemini 3). Ignorar o 'harness' leva a benchmarks enganosos: um sistema pode ter 90% de acurácia com Grep inline + Claude Opus 4.6, mas cair para menos de 60% com o mesmo Grep em modo de arquivo, o que explica falhas recorrentes em QA em produção com agentes baseados em ferramentas.