Seu site, suas regras: Cloudflare lança novas opções de controle de tráfego de IA para todos os clientes

A Cloudflare lançou em 1º de julho de 2026, no segundo Content Independence Day, controles granulares de tráfego de IA para todos os clientes, incluindo os da camada gratuita. A novidade não é só técnica: ela reflete uma mudança estrutural no ecossistema web, onde bots representaram 57,4% de todo o tráfego HTTP em 8 de junho de 2026, superando o tráfego humano pela primeira vez. O sistema agora classifica bots em três categorias comportamentais, Search (busca), Agent (agente) e Training (treinamento), em vez de usar rótulos genéricos como 'IA' ou 'não-IA'. Isso permite ações específicas por uso: bloquear treinamento em páginas com anúncios, permitir busca para descobribilidade, e restringir agentes que competem diretamente com o site ao entregar respostas sem redirecionamento.

O lançamento também inclui atualizações operacionais concretas: o Pay Per Crawl evoluiu para Pay Per Use, com remuneração vinculada ao valor gerado (ex.: cliques, conversões), não apenas ao rastreamento; o BotBase foi introduzido para clientes Enterprise como um banco de dados pesquisável de bots conhecidos; e o painel Attribution Business Insights mostra origem dos bots, impacto no tráfego humano e consumo real de conteúdo. A Cloudflare também está desenvolvendo o PACT (Private Access Control Tokens), protocolo aberto apoiado por Chrome, Edge, Firefox e Shopify, para autenticar agentes legítimos sem CAPTCHA.

Essas ferramentas respondem a um desequilíbrio real: mecanismos de busca tradicionais geravam tráfego de referência, mas muitos bots de IA hoje consomem conteúdo sem devolver visitantes nem receita. Para sites pequenos, isso cria um dilema, abrir para crawlers e perder controle sobre o uso comercial do conteúdo, ou bloquear tudo e desaparecer dos resultados. A nova taxonomia dá aos proprietários poder de decisão por contexto: proteger páginas monetizadas, manter visibilidade em buscadores e negociar com agentes que usam seu conteúdo em tempo real. A mudança nos padrões para 15 de setembro de 2026 (bloqueio automático de Training e Agent em páginas com anúncios) torna essa política operacionalmente relevante, não é só opção, é configuração ativa para novos domínios.

Desenvolvedores precisam revisar seus headers, robots.txt e User-Agent patterns: a Cloudflare agora identifica bots com base em comportamento (ex.: armazenamento persistente, requisições em lote, uso de JavaScript para renderização) e não só em nomes. Rastejadores multiuso como Googlebot ou BingBot serão bloqueados se tentarem treinar em páginas com ad tags, mesmo que façam busca legítima. APIs e endpoints sensíveis devem ser protegidos com regras específicas para cada categoria, não basta confiar em 'block all AI'. Também vale monitorar os logs do Attribution Business Insights para detectar quais bots estão consumindo conteúdo sem gerar tráfego humano. A integração com beehiiv e Ceramic.ai mostra que o modelo de compensação está migrando para contratos programáveis, não para acordos manuais.