O Novo Marco para Avaliar Agentes de Busca com IA na Web

O ATLAS, ou Agentic Tasks for Large Aggregation + Search, é um novo benchmark criado para testar agentes de IA em cenários de busca na web que exigem pesquisa profunda e ampla. Ele foge dos testes baseados em dados memorizados pelos modelos, forçando os agentes a realizar buscas extensas em múltiplos domínios. A tarefa é descobrir e enriquecer entidades, muitas vezes exigindo 10 ou mais entidades, cada uma com 2 a 10 atributos. Isso simula uma pesquisa que demanda múltiplas etapas e navegação entre diferentes domínios, com uma média de 4 domínios para descoberta de entidades e 18 para enriquecimento.

Para garantir a qualidade, o ATLAS usa um pipeline automatizado de geração de “respostas ouro”. Este processo envolve um comitê de modelos de ponta e provedores de busca, que dedicam uma mediana de 8 horas-agente e 1.200 buscas por tarefa para encontrar e verificar respostas. O resultado é um conjunto de dados que representa a demanda de busca do mundo real, com o benefício de poder ser regenerado periodicamente para se manter atualizado com as tendências da web. Os primeiros resultados mostram que mesmo os agentes mais avançados falham em cerca de um terço das respostas consideradas ouro, apontando que a busca abrangente e com bom custo-benefício ainda é um desafio a ser superado.

Em comparação com benchmarks anteriores como o WANDR, BrowseComp, WideSearch e DeepSearchQA, o ATLAS se posiciona como uma evolução crítica. Enquanto os benchmarks mais antigos sofriam com alta memorização dos modelos e questions artificiais, o ATLAS exige busca real e recompensas a qualidade da pesquisa. A degradação da qualidade da busca impacta o ATLAS em 50% da pontuação, enquanto nos outros benchmarks a perda é bem menor, entre 11-19%. Isso indica que o ATLAS mede de fato a eficácia da busca, e não apenas o conhecimento memorizado.

Outro ponto de melhoria é a longevidade. Benchmarks anteriores perdiam valor rapidamente, pois os provedores otimizavam seus modelos para eles e o conhecimento era incorporado aos LLMs. O ATLAS, com seu pipeline automatizado, consegue regenerar as tarefas com base em tendências de busca recentes, mantendo-se sempre atualizado e relevante. Além disso, o custo de avaliação é significativamente menor e mais consistente no ATLAS, ao contrário de soluções como o WANDR, que utilizam LLMs como juízes, tornando o processo caro e sensível ao design do avaliador.

Um benchmark como o ATLAS é fundamental porque ele fornece um método de avaliação mais realista e com excelente custo-benefício para agentes de busca com IA. Ele vai além das demonstrações superficiais, oferecendo um “sinal muito mais fiel” sobre quais configurações de busca agentic realmente funcionam em tarefas de pesquisa complexas e economicamente valiosas. Ao identificar as lacunas atuais, onde mesmo os agentes mais caros e avançados ainda perdem um terço das informações, o ATLAS direciona o desenvolvimento para melhorias concretas.

Ele permite que desenvolvedores e empresas entendam as limitações reais de seus sistemas, diferenciando provedores de busca e incentivando a inovação para construir agentes mais eficientes e precisos. Em um cenário onde a IA é cada vez mais empregada em tarefas de recuperação de informação, ter um padrão de avaliação robusto e continuamente atualizado é crucial para garantir o avanço e a confiabilidade dessas tecnologias.