Databricks anuncia ecossistema de armazenamento para governança de dados corporativos

A Databricks lançou oficialmente seu ecossistema Software-Defined Storage (SDS) em 10 de junho de 2026, com o protocolo OpenSharing, agora um projeto da Linux Foundation, como núcleo arquitetônico. Diferentemente do antecessor Delta Sharing (lançado em 2021), o OpenSharing foi projetado para suportar não apenas dados estruturados (Delta Lake, Apache Iceberg), mas também ativos de IA generativa (GenAI), como modelos, habilidades de agentes e dados não estruturados via APIs de Volumes. A data exata do anúncio foi confirmada pela própria Databricks em comunicado oficial e reforçada por cobertura técnica da TechCrunch e The Register. O ecossistema permite execução direta de Databricks Serverless Compute, Genie e LLMs sobre dados on-premises sem cópia, atendendo a exigências críticas de soberania de dados (GDPR, HIPAA, NIS2) e custos de egresso em nuvem.

O Unity Catalog, habilitado por padrão em workspaces criados após 8, 9 de novembro de 2023, é a camada de governança unificada que orquestra esse modelo 'cópia zero'. Em 11 de junho de 2025, recebeu suporte completo para Apache Iceberg com APIs REST nativas; em 12 de maio de 2026, a funcionalidade Catalog Commits tornou-se geralmente disponível para tabelas Delta, permitindo transações multi-tabela e alinhamento com o modelo orientado a catálogo do Iceberg. Essas atualizações são essenciais para quem busca governança robusta em ambientes híbridos e para equipes que já utilizam ou planejam adotar GPT-5.6, GPT-6, Claude Opus 4 ou Gemini 3 em produção com dados corporativos sensíveis.

Esse lançamento representa uma virada estratégica no mercado de dados: a Databricks abandona o paradigma 'migrar tudo para a nuvem' em favor de 'governar tudo onde estiver'. Para empresas brasileiras sob regulação da LGPD, ANS, BACEN ou ANATEL, isso significa viabilizar uso de GenAI com LLMs avançados (como GPT-5.6, GPT-6, Claude Opus 4 e Gemini 3) sem violar políticas de localização de dados. Estudos da Gartner indicam que 78% das organizações globais enfrentam restrições legais ou contratuais que impedem a movimentação de dados críticos para nuvens públicas, o SDS resolve essa barreira técnica e regulatória em tempo real. Além disso, o custo de saída de dados (egress fees) em grandes provedores de nuvem pode representar até 40% dos gastos operacionais em cenários de IA intensiva; a arquitetura de cópia zero elimina esse custo, tornando viável escalar treinamento e inferência de modelos como GPT-5.6 e Gemini 3 diretamente em infraestrutura on-premises.

Para desenvolvedores e engenheiros de dados no Brasil, o ecossistema SDS implica mudanças concretas nas práticas de implementação: agora é possível usar SQL padrão do Databricks para consultar tabelas Iceberg e Delta hospedadas localmente em MinIO AIStor, VAST Data ou Qumulo NeuralSearch, tudo sob controle granular do Unity Catalog (linhagem, auditoria, RBAC). As APIs de Volumes, ativadas para OpenSharing em 2026, permitem carregar diretamente PDFs, imagens e vídeos não estruturados em pipelines de fine-tuning de GPT-5.6 ou Gemini 3, sem etapas intermediárias de ingestão. Parcerias já confirmadas incluem Private Preview da VAST Data em agosto de 2026 e da Qumulo em julho de 2026, com documentação técnica detalhada publicada na Databricks Documentation e no GitHub do projeto OpenSharing. Isso reduz drasticamente o tempo de implantação de soluções GenAI em ambientes regulados, de meses para semanas.