Análise de Tráfego Desvenda Foco de Crawlers de IA em Websites

A análise do comportamento de crawlers verificados, como GPTBot e ClaudeBot, em um site pessoal revela que as bases do desenvolvimento web continuam sendo o alicerce para a visibilidade em sistemas de IA. O estudo de 18 dias confirmou que a prioridade dos bots de IA recai sobre páginas HTML padrão, o arquivo robots.txt e sitemaps. Estes elementos, há muito tempo essenciais para SEO tradicional, mostram-se igualmente cruciais para a descoberta e indexação por IA.

Um ponto técnico importante é a execução de JavaScript. Os testes mostraram que crawlers como os da OpenAI, Anthropic e Perplexity não processam JavaScript ao rastrear, confiando apenas no HTML inicial. Isso valida o que o CEVIU já havia reportado em junho de 2026, na matéria "Teste revela que a maioria dos assistentes de IA não executa JavaScript". Sites com renderização no cliente podem ser invisíveis para muitos desses bots, resultando em conteúdo "vazio" para a IA. Por outro lado, cópias de conteúdo em Markdown foram rapidamente identificadas, sugerindo uma preferência por formatos textuais claros e diretos.

Em junho de 2026, o CEVIU noticiou um estudo "Estudo com 137 mil sites revela que quase nenhum llms.txt é lido por IA", que já apontava a ineficácia do arquivo llms.txt. A nova análise, agora, reforça essa constatação: o arquivo llms.txt, criado com a intenção de otimizar a descoberta por IA, não registrou solicitações de treinamento ou busca por crawlers verificados no período estudado. O que antes era uma observação baseada em grande escala, agora se solidifica com dados de tráfego específicos, confirmando que desenvolvedores não devem priorizar esse recurso para indexação ou treinamento de IA.

Para desenvolvedores e criadores de conteúdo, os resultados deste estudo solidificam uma premissa fundamental: a excelência técnica e a adesão a padrões web consolidados são a melhor estratégia de "otimização para IA". A importância do HTML bem estruturado, do robots.txt e de sitemaps verdadeiros é sublinhada, destacando que a simplicidade e a conformidade com o que já funciona são o caminho mais eficaz. As matérias do CEVIU, "A ciência de como a IA escolhe suas fontes" (março de 2026) e "O Efeito Fan-Out" (abril de 2026), já sinalizavam que o posicionamento e a qualidade do conteúdo superam artifícios técnicos complexos. Isso simplifica a experiência do desenvolvedor (DX), permitindo focar em performance, segurança e conteúdo de valor.