Rastreie sites inteiros com uma única chamada de API usando Browser Rendering da Cloudflare

A Cloudflare lançou em 10 de março de 2026, com disponibilidade oficial a partir de 11 de março, o endpoint /crawl da API Browser Run, nome novo adotado em 15 de abril de 2026 para substituir 'Browser Rendering'. O recurso não é só mais um crawler: ele combina renderização headless com descoberta automática via sitemap e links internos, entrega dados em três formatos nativos (HTML, Markdown e JSON estruturado) e usa Workers AI por trás do JSON para extrair entidades, títulos e metadados sem que o desenvolvedor configure prompts. O modo estático (render: false) permite varreduras rápidas de HTML puro, útil para sites leves ou pré-filtragem, algo que ferramentas como Puppeteer ou Playwright exigem configuração manual.

O rastreamento é assíncrono e respeita robots.txt rigorosamente, inclusive crawl-delay, e se identifica como um bot ético, uma diferenciação prática frente a crawlers genéricos que ignoram políticas ou sobrecarregam servidores. A integração com o AI Crawl Control também não é só teórica: desde julho de 2025, proprietários de sites podem usar esse sistema para autorizar, bloquear ou cobrar por acessos de bots, incluindo um modelo 'pay per crawl' em beta privado. Isso posiciona a Cloudflare não apenas como infraestrutura de rastreamento, mas como mediadora entre quem coleta dados e quem os publica.

Desenvolvedores de RAG, engenheiros de IA e equipes de monitoramento agora conseguem construir pipelines de ingestão web com menos código e menor custo operacional. Em vez de orquestrar dezenas de instâncias de Puppeteer, gerenciar proxies, lidar com bloqueios ou escrever parsers personalizados, basta uma chamada REST com parâmetros como maxDepth: 3, include: ['*.blog.*'] e limit: 500. Os limites de concorrência foram expandidos para até 120 navegadores simultâneos em planos Paid, quatro vezes mais que em agosto de 2025, e a taxa de requisições subiu para 10 por segundo. Isso torna viável rastrear domínios médios em minutos, não horas. Mas atenção: não há rotação de IP, suporte a paywalls ou deduplicação entre execuções. É uma ferramenta poderosa dentro de seu escopo, não uma solução tudo-em-um.