Agentic RAG recupera evidências melhores? Teste com 298 perguntas aponta ganho dentro do ruído

O agentic-rag-evidence-test é o repositório com código, perguntas e resultados salvos de um experimento publicado no Towards Data Science, escrito por abduldattijo. O artigo é a análise, o repositório é o projeto que a sustenta, escrito em Python. O teste usa 298 perguntas sobre 2.000 artigos recentes do arXiv e mede só a primeira metade do RAG, a recuperação. Nenhuma resposta é gerada. O critério é simples: o artigo certo aparece entre os 5 primeiros resultados?

Foram quatro desenhos. O dense faz uma busca por embeddings (BAAI/bge-small-en-v1.5). O rerank reordena os 50 primeiros com um cross encoder (cross-encoder/ms-marco-MiniLM-L-6-v2). O multiquery pede ao Claude Haiku 5.5 três reescritas da pergunta e funde as quatro listas com RRF. O agent vê os títulos dos 5 primeiros, decide parar ou refazer a busca, até três buscas, e também funde com RRF. O agente chegou a 96,87% de acerto no top 5, contra 95,64% da busca simples. A diferença de 1,2 ponto tem intervalo de -0,8 a +3,5, ou seja, inclui zero. O multiquery ficou em 93,6%, também dentro do intervalo. O rerank foi o único ganho claro (0,959 contra 0,895 na medida de ranking), sem custo de chamadas a modelo de linguagem.

Há limites. Só 30 das perguntas aprovadas foram checadas à mão, e as outras 268 dependem da aprovação do assistente de código. As perguntas são longas e detalhadas, bem diferentes do que uma pessoa digita numa caixa de busca. O teste cobre só artigos de ciência da computação e não avalia a resposta final. Para rodar, multiquery e agent exigem uma chave da API da Anthropic. Código e perguntas estão no repositório oficial, e a análise completa está no artigo de origem.

Em 30 de abril de 2026, o CEVIU noticiou "Agentes Podem Substituir a Search Stack?", com a ideia de que dar ferramentas básicas de busca a agentes melhora as respostas. Em 7 de maio de 2026, a versão "Agentes Podem Substituir o Search Stack?" apontou que um agente leve, com BM25 ou embeddings, podia superar backends complexos e pipelines de reranking. O teste de agora é mais cauteloso: com 298 perguntas, o agente não se separou da busca simples, e o reranker foi quem entregou o ganho claro. Em 25 de março de 2026, "Como Funciona o Agentic RAG" já descrevia o RAG padrão como processo estático (consulta, busca, geração) e o agentic RAG como a camada com um LLM decidindo os passos. Esse teste mede quanto essa camada rende na recuperação.

Para quem opera RAG em produção, a leitura é que adicionar um agente na recuperação não é de graça: cada busca extra custa uma chamada ao modelo e mais latência. Antes de pagar por isso, vale medir contra um baseline com reranker, que neste teste deu o ganho mais nítido. É uma leitura de um único experimento, com perguntas geradas por modelo, e não uma regra geral.

Repositório oficial: abduldattijo/agentic-rag-evidence-test