Cloudflare revela como construiu sua plataforma unificada de dados e o agente de IA Skipper

A Cloudflare construiu sua plataforma de dados interna, Town Lake, como uma arquitetura de data lakehouse baseada em Apache Iceberg no R2 (seu armazenamento de objetos sem taxas de egresso), com Apache Trino como mecanismo de consulta federado e DataHub para catalogação. Lançada oficialmente em beta aberta em setembro de 2025, a Cloudflare Data Platform integra Cloudflare Pipelines, R2 Data Catalog e R2 SQL, este último projetado para consultas em escala de petabytes, com suporte a agregações e junções previsto para o primeiro semestre de 2026. A plataforma substituiu uma infraestrutura fragmentada que incluía dezenas de bancos de dados de produção, clusters ClickHouse, Kafka, Google Cloud Storage e BigQuery, priorizando dados não amostrados para faturamento e segurança, e dados downsampled para dashboards. A governança é reforçada por ferramentas internas como Lifeguard (controle de acesso granular), Skimmer (detecção automática de PII) e Transformer (orquestração de ELT).

O agente de IA Skipper foi desenvolvido sobre o Town Lake para permitir consultas naturais ao banco de dados sem SQL, operando com verificação de permissões em tempo real e contexto de usuário. Ele é executado via Workers com Workers AI e um servidor Model Context Protocol (MCP) local. Em abril de 2026, a Cloudflare lançou o Project Think, seu novo SDK de Agentes, que introduz 'fibers' para execução durável, sub-agentes isolados com SQLite próprio, sessões persistentes com árvore de mensagens e sandbox de código via Dynamic Workers, tudo construído sobre Durable Objects, garantindo identidade, estado persistente e zero custo de inatividade.

Essa arquitetura é relevante porque representa um dos casos mais avançados de empresa que constrói agentes de IA nativamente sobre sua própria infraestrutura de dados, sem depender de provedores externos. Ao usar R2, Workers, Access e Workflows, produtos que oferece comercialmente, a Cloudflare valida e aprimora sua stack para clientes, criando um ciclo de feedback único. Para profissionais de dados e engenheiros de IA no Brasil, isso demonstra viabilidade prática de data lakehouse unificado com governança automática de PII e agentes de longa duração escaláveis, algo diretamente aplicável em cenários de compliance (LGPD), análise em tempo real e automação de relatórios corporativos. O lançamento do Project Think em abril de 2026 também posiciona a Cloudflare como referência técnica em agentes duráveis, competindo com frameworks como LangChain e LlamaIndex em robustez operacional.

Para desenvolvedores brasileiros, a stack da Cloudflare reduz barreiras técnicas e de custo: o Workers AI oferece mais de 50 modelos prontos (incluindo LLMs compatíveis com GPT-4, Claude Opus 4 e Gemini 1.5 Pro) com inferência na borda em mais de 330 cidades, o que melhora latência e reduz custos de tráfego. O Vectorize permite RAG global com baixa latência, essencial para aplicações em português com dados locais. O AI Gateway centraliza roteamento entre OpenAI, Anthropic e Workers AI, com caching e logging unificado, útil para quem busca alternativas ao GPT-4 Turbo ou quer testar Claude Opus 4 com fallback. Além disso, o nível gratuito de Durable Objects e o suporte a Dynamic Workers permitem prototipar agentes complexos (como assistentes de atendimento com memória persistente) sem infraestrutura dedicada. O Project Think elimina gargalos comuns em agentes locais, como perda de estado após timeout ou dificuldade de escalonamento, problemas frequentemente buscados como 'agentes que travam', 'como manter sessão de IA' ou 'GPT-5.6 não salva histórico'.