Cloudflare lança iniciativas para tornar as buscas com IA mais inteligentes

A Cloudflare está migrando de um modelo defensivo, como o bloqueio de bots via robots.txt ou regras de firewall, para um ecossistema ativo de busca com IA. Isso inclui dois eixos concretos: (1) AI Crawl Control, lançado em 2025 e ampliado em junho de 2026 com suporte nativo para beehiiv, que permite gerenciar tráfego de IA por tipo de uso (busca, agente, treinamento), e (2) Pay Per Use, evolução do Pay Per Crawl de 2025, testado com Ceramic.ai e You.com, onde o pagamento é acionado quando conteúdo é efetivamente citado em respostas de IA, não apenas rastreado. O programa de pesquisa em andamento usa sinais de atualização de página e tráfego humano/bot da rede (que cobre mais de 20% da web) para reduzir rastreamentos redundantes: dados internos indicam que mais de 50% dos crawls de bots 'bons' são desnecessários, pois acessam páginas inalteradas.

O lançamento do Cloudflare AI Search (ex-AutoRAG), em setembro de 2025, e a aquisição da Human Native em janeiro de 2026 reforçam essa direção técnica e comercial. A plataforma não compartilha conteúdo com modelos base, nem usa dados para treinamento, foca em otimizar descoberta e atribuição. O novo padrão de permissões, válido a partir de 15 de setembro de 2026 para novos sites, permite indexação para busca (ex.: ChatGPT, Perplexity, Claude) mas bloqueia automaticamente crawlers de treinamento (como GPTBot e CCBot) em conteúdos com publicidade, uma mudança estrutural nas regras de acesso, não só uma opção.

Isso importa porque o modelo antigo de descoberta, 'rastreie meu site, eu ganho tráfego e receita', entrou em colapso. Um estudo do Pew Research Center de 2025 mostra que, com resumos de IA no Google, o clique em links tradicionais caiu para 8%, e o clique em links dentro do resumo, para 1%. Criadores não estão mais escolhendo entre 'ser encontrado' ou 'ser pago': estão sendo forçados a aceitar visibilidade sem retorno. As iniciativas da Cloudflare tratam disso como falha de infraestrutura, não de política, oferecendo ferramentas técnicas reais (como o painel Attribution Business Insights e a Monetization Gateway via x402) para que proprietários de conteúdo vejam quem está usando seu trabalho, em quais perguntas e com que frequência, e definam preços ou condições de acesso diretamente.

Para desenvolvedores, isso muda três camadas: (1) infraestrutura: o Cloudflare AI Search (RAG gerenciado) e o AI Crawl Control exigem ajustes em headers, meta tags e integrações com APIs como a x402 para monetização; (2) monitoramento: o painel Attribution Business Insights fornece dados operacionais reais sobre consumo de IA, não estimativas, permitindo otimizar cache, rate limiting e políticas de acesso; (3) economia: o Pay Per Use exige modelagem de eventos de 'uso real' (ex.: citação em resposta, não apenas requisição HTTP), o que impacta arquiteturas de billing e contratos com parceiros de IA. Não é só sobre bloquear bots: é sobre expor métricas de valor comprovável, frescor, engajamento humano, recorrência de consulta, como entrada para negociação.