Cloudflare impõe prazo final para bots que misturam busca com treinamento de IA

A Cloudflare não está só bloqueando bots: está redesenhando as regras de tráfego da web para a era da IA. A partir de 15 de setembro de 2026, qualquer rastreador que misture busca (como indexação para SERPs) com coleta para treinamento de modelos será cortado automaticamente em páginas com anúncios, ou seja, em grande parte do conteúdo editorial e comercial da internet. Isso atinge diretamente o Googlebot, Bingbot e Applebot, que até hoje operam como agentes híbridos. O dado crítico vem dos dados internos da empresa: mais de 50% do tráfego global já é automatizado, e metade das requisições de IA é redundante, páginas visitadas repetidamente sem mudanças. Isso não é só uma questão de direitos autorais, mas de custo de infraestrutura real para quem hospeda conteúdo.

O timing não é acidental. A nova política entra em vigor menos de 48 horas após o lançamento oficial das iniciativas de busca com IA da Cloudflare (1º de julho), e poucas semanas depois da implementação dos limites de gastos em tempo real no AI Gateway (1º de junho). É um pacote coerente: primeiro você controla os custos da IA, depois exige transparência no seu consumo de dados, e por fim cria mecanismos de compensação, como o Pay Per Use com Ceramic.ai e You.com, que paga criadores quando seus conteúdos alimentam respostas de IA.

Em abril, a Atlassian já havia imposto coleta obrigatória de metadados para IA. Em junho, a Cloudflare começou a fiscalizar gastos com tokens. Agora, em julho, ela migra do controle interno para a regulação externa: não basta gerenciar seu próprio consumo, você precisa separar fisicamente suas funções de crawler. Antes, a distinção entre busca e treinamento era técnica e opaca. Agora é uma exigência de infraestrutura. Bots que não tiverem user-agents distintos, headers específicos e rotas separadas serão tratados como ameaça à receita publicitária, e bloqueados por padrão em todos os novos domínios e contas gratuitas.

Isso muda a forma como startups e gigantes constroem seus pipelines de dados. Um único bot com dois propósitos deixou de ser prático, agora exige duas arquiteturas, dois processos de compliance e dois canais de negociação com publishers. Para desenvolvedores, significa que a automação de coleta não é mais plug-and-play: cada user-agent precisa declarar sua intenção com clareza, sob risco de cair em listas negras automáticas. E para produtores de conteúdo, é a primeira vez que uma camada de rede impõe uma regra de uso *antes* de qualquer acordo bilateral, e vincula essa regra ao modelo de receita (anúncios), não à licença ou ao copyright.