Explorando Conteúdo Web: O Endpoint `/crawl` da Cloudflare

O endpoint `/crawl` da Cloudflare ️ permite o rastreamento de conteúdo web, possibilitando aos usuários extrair informações de páginas ao fornecer uma URL inicial e seguir links até uma profundidade ou limite de páginas pré-definidos. O procedimento técnico envolve a iniciação de um job de crawl através de uma requisição POST, que gera um ID de job. Esse ID é então utilizado em requisições GET para monitorar o status do trabalho e recuperar os resultados, os quais podem ser obtidos nos formatos HTML, Markdown ou JSON.