Databricks lança Lakehouse//RT: data warehouse em tempo real diretamente no lakehouse

O Lakehouse//RT não é só mais um data warehouse: é a primeira implementação prática da arquitetura LTAP (Lake Transactional/Analytical Processing), unificando transacional e analítico em uma única cópia de dados abertos, sem trade-offs. Enquanto o Lakebase Postgres (lançado em abril) resolveu o lado transacional com branching instantâneo, o Lakehouse//RT fecha o ciclo com um motor analítico capaz de servir consultas complexas em milissegundos diretamente sobre Delta Lake e Iceberg v3, incluindo suas novas features como Deletion Vectors e Row Lineage. O motor Reyden não substitui o Photon ou o SQL Warehouse: ele opera em paralelo, especializado em alta concorrência e baixa latência, mas compartilhando o mesmo Unity Catalog, os mesmos metadados e a mesma camada de governança, o que torna o Lakehouse//RT tecnicamente distinto de qualquer 'real-time layer' anterior.

Isso muda o jogo para aplicações orientadas a agentes: o Databricks já roda mais de 100.000 agentes autônomos, processando 1 quatrilhão de tokens por ano. Agora, esses agentes podem executar joins complexos, window functions e travessias de grafos (como as viabilizadas pelo Neo4j Virtual Graph) diretamente no lakehouse, sem precisar de cache pré-carregado ou fallback para bancos especializados. E o autoscaling inteligente, que pode escalar até zero, elimina o custo ocioso típico de clusters dedicados de serving.

O que era rumor virou realidade: em abril, falávamos de 'LTAP como conceito emergente' e de 'motor de tempo real ainda não nomeado'. Hoje, o Lakehouse//RT é uma oferta concreta em Beta, com desconto introdutório até janeiro de 2027. A evolução é clara em três frentes: (1) o Lakebase Postgres (abril) trouxe branching para transações; o Lakehouse//RT (junho) traz execução em tempo real para análises, agora o ecossistema tem ambas as pontas; (2) o Iceberg v3 (abril) introduziu Deletion Vectors e Row Lineage; o Lakehouse//RT já os usa nativamente para atualizações rápidas e rastreamento de impacto em consultas reais; (3) o OpenSharing (12 de junho) conectava storage externo; o Lakehouse//RT agora serve dados desses endpoints *diretamente*, sem movimentação, fechando o ciclo do zero-copy anunciado há duas semanas.

Para engenheiros de dados, isso significa parar de manter três stacks distintas: um lakehouse para ETL/AI, um data warehouse para BI e um sistema de serving para apps/dashboards. Para equipes de analytics, significa que relatórios interativos com joins profundos em terabytes deixam de travar sob carga, e passam a responder em <100ms mesmo com milhares de usuários simultâneos. Para segurança e compliance, significa governança única: não há mais 'regra definida no Unity Catalog' vs 'regra duplicada no Redis ou no ClickHouse'. E para negócios regulados, como jogos (Bally’s) ou saúde (PointClickCare), significa reduzir superfície de ataque e auditoria com uma única cópia de dados, auditável, versionada e imutável.