Databricks anuncia ecossistema de armazenamento para governança de dados corporativos

A Databricks lançou oficialmente seu ecossistema Software-Defined Storage (SDS) em 10 de junho de 2026, com o protocolo OpenSharing — agora um projeto da Linux Foundation — como núcleo arquitetônico. Diferentemente do antecessor Delta Sharing (lançado em 2021), o OpenSharing foi projetado para suportar não apenas dados estruturados (Delta Lake, Apache Iceberg), mas também ativos de IA generativa (GenAI), como modelos, habilidades de agentes e dados não estruturados via APIs de Volumes. A data exata do anúncio foi confirmada pela própria Databricks em comunicado oficial e reforçada por cobertura técnica da TechCrunch e The Register. O ecossistema permite execução direta de Databricks Serverless Compute, Genie e LLMs sobre dados on-premises sem cópia, atendendo a exigências críticas de soberania de dados (GDPR, HIPAA, NIS2) e custos de egresso em nuvem.

O Unity Catalog, habilitado por padrão em workspaces criados após 8–9 de novembro de 2023, é a camada de governança unificada que orquestra esse modelo 'cópia zero'. Em 11 de junho de 2025, recebeu suporte completo para Apache Iceberg com APIs REST nativas; em 12 de maio de 2026, a funcionalidade Catalog Commits tornou-se geralmente disponível para tabelas Delta, permitindo transações multi-tabela e alinhamento com o modelo orientado a catálogo do Iceberg. Essas atualizações são essenciais para quem busca governança robusta em ambientes híbridos e para equipes que já utilizam ou planejam adotar GPT-5.6, GPT-6, Claude Opus 4 ou Gemini 3 em produção com dados corporativos sensíveis.

Esse lançamento representa uma virada estratégica no mercado de dados: a Databricks abandona o paradigma 'migrar tudo para a nuvem' em favor de 'governar tudo onde estiver'. Para empresas brasileiras sob regulação da LGPD, ANS, BACEN ou ANATEL, isso significa viabilizar uso de GenAI com LLMs avançados (como GPT-5.6, GPT-6, Claude Opus 4 e Gemini 3) sem violar políticas de localização de dados. Estudos da Gartner indicam que 78% das organizações globais enfrentam restrições legais ou contratuais que impedem a movimentação de dados críticos para nuvens públicas — o SDS resolve essa barreira técnica e regulatória em tempo real. Além disso, o custo de saída de dados (egress fees) em grandes provedores de nuvem pode representar até 40% dos gastos operacionais em cenários de IA intensiva; a arquitetura de cópia zero elimina esse custo, tornando viável escalar treinamento e inferência de modelos como GPT-5.6 e Gemini 3 diretamente em infraestrutura on-premises.

Para desenvolvedores e engenheiros de dados no Brasil, o ecossistema SDS implica mudanças concretas nas práticas de implementação: agora é possível usar SQL padrão do Databricks para consultar tabelas Iceberg e Delta hospedadas localmente em MinIO AIStor, VAST Data ou Qumulo NeuralSearch — tudo sob controle granular do Unity Catalog (linhagem, auditoria, RBAC). As APIs de Volumes, ativadas para OpenSharing em 2026, permitem carregar diretamente PDFs, imagens e vídeos não estruturados em pipelines de fine-tuning de GPT-5.6 ou Gemini 3, sem etapas intermediárias de ingestão. Parcerias já confirmadas incluem Private Preview da VAST Data em agosto de 2026 e da Qumulo em julho de 2026, com documentação técnica detalhada publicada na Databricks Documentation e no GitHub do projeto OpenSharing. Isso reduz drasticamente o tempo de implantação de soluções GenAI em ambientes regulados — de meses para semanas.