Na edição de 2026 do Data + AI Summit, a Databricks anunciou duas inovações-chave para simplificar arquiteturas de dados: o Lakehouse//RT, voltado para aplicações e dashboards em tempo real diretamente sobre o lakehouse, e o LTAP, modelo que integra cargas transacionais e analíticas numa única cópia governada de dados. A proposta elimina a necessidade de bancos de dados separados, CDC, ETL e camadas intermediárias de processamento.
A Heidi AI conseguiu equalizar o desempenho de um modelo clínico menor ao de modelos de fronteira por meio de fine-tuning, validado em testes cegos de preferência clínica. O diferencial está no uso de feedback clínico proprietário, verificações rigorosas de safety e um loop de produto alinhado ao julgamento prático de profissionais de saúde, reduzindo dependência de infraestrutura pesada sem comprometer precisão ou confiabilidade.
Foi lançada a versão 1.0 da extensão pg_kpart para PostgreSQL, que impede execução de consultas em tabelas particionadas quando não há uso explícito da chave de partição no plano, evitando assim varreduras completas e sobrecargas de I/O. A ferramenta oferece recursos de auditoria, listas de permissão ou bloqueio por consulta e tratamento personalizado de códigos SQLSTATE. Disponível apenas para sistemas Linux.
Entity Resolution e MDM nativo em data warehouse são pilares para confiabilidade de produtos de dados, IA e conformidade regulatória. Em ambientes corporativos, validações pontuais falham, gerando duplicação de clientes, entidades fantasmas e risco de contaminação de modelos de IA. A abordagem eficaz combina bloqueio, matching por regras e ML, agrupamento em grafos e revisão humana, tudo orquestrado diretamente no data warehouse.
Após a expansão do suporte da AWS ao Apache Iceberg, incluindo integração com S3 Tables, uma equipe migrou seu data lake baseado em Parquet no S3 e AWS Glue Catalog (estilo Hive) para o Iceberg. A mudança resolveu gargalos crônicos: pruning de consultas mais eficiente, evolução contínua de schema e partições, time travel nativo e planejamento de queries com desempenho superior.
A OpenAI introduziu uma técnica pré-release que replica, com dados anonimizados, prefixos reais de conversas de usuários para testar modelos candidatos. Ao processar essas interações simuladas, a abordagem permite antecipar comportamentos em produção com maior fidelidade, gerando estimativas mais precisas de taxas de respostas indesejadas do que avaliações tradicionais.
A Guidewire adotou o Apache Trino para executar queries SQL federadas entre Iceberg, Redshift, OpenSearch e buckets S3 de clientes, acelerando workflows exploratórios de ML. O isolamento multi-tenant foi viabilizado com catálogos por domínio, ABAC via Lake Formation e RBAC no Trino, mas a camada S3 do Trino revelou uma lacuna crítica na governança de dados, especialmente no controle de acesso granular a objetos armazenados.
O Databricks Lakehouse//RT é um novo data warehouse em tempo real baseado no motor Reyden, capaz de executar consultas em milissegundos diretamente sobre dados armazenados no lakehouse, sem necessidade de replicação, movimentação ou camadas intermediárias. A solução visa simplificar analítica em tempo real, BI, aplicações e observability, mantendo governança robusta, formatos de dados abertos (como Delta Lake) e integração nativa com o ecossistema Databricks.
O processamento de dados está deixando os fluxos ETL tradicionais baseados em SQL e CPU para adotar pipelines orientados a inference em GPU, essenciais para lidar com vídeos, áudio, PDFs, dados do Slack e sensores. Hoje, modelos de IA realizam a curadoria inicial: geram embeddings, labels, resumos e registros estruturados, alimentando sistemas SQL e buscadores vetoriais. Essa mudança impulsiona a adoção de arquiteturas com computação mista (CPU+GPU), processamento em streaming e concorrência gerenciada por API.
A Rippling substituiu seus armazéns de dados fragmentados e processos manuais por um banco de dados de IA implantado em lakehouse, otimizado para operações GTM baseadas em agentes. A nova arquitetura adota medallion architecture, resolução de entidades com ML entre fontes externas, semantic search em conversas enriquecidas e uma interface Genie com linguagem natural, usada diretamente por agentes de IA para ações autônomas.
Usar NOT IN no PostgreSQL é uma armadilha frequente para engenheiros de dados: se houver ao menos um valor NULL na subconsulta ou na lista de comparação, toda a cláusula retorna NULL, e, por consequência, zero linhas. Isso ocorre pela lógica de três valores (TRUE/FALSE/UNKNOWN) do SQL, onde qualquer comparação com NULL resulta em UNKNOWN, fazendo a condição falhar silenciosamente. A solução? Substituir NOT IN por NOT EXISTS ou tratar explicitamente os NULLs com COALESCE ou IS NOT NULL.
O sistema Data 360 da Salesforce lida com um quatrilhão de registros mensais, adaptando-se a esquemas de dados variados de clientes, grafos de relacionamento e múltiplos sistemas de armazenamento. São cerca de 3 milhões de jobs Spark executados por mês. O principal desafio técnico emergente é a gestão de metadados: em ambientes grandes, há de 3.000 a 6.000 tabelas, payloads superiores a 500 MB e bilhões de planos de consulta candidatos, o que transformou essa camada na principal restrição arquitetural.
O Instacart substituiu seu antigo sistema de retrieval de anúncios, baseado em BERT e scoring individualizado por ID de produto, por uma abordagem generativa que opera token por token. A nova arquitetura usa os 'Instacart Semantic IDs', permitindo geração direta de recomendações mais contextualizadas e eficientes, com ganhos significativos em precisão e escalabilidade. A mudança reflete uma migração estratégica de modelos discriminativos para gerativos no core do sistema de anúncios.
As funções ai_parse_document e ai_query do Databricks simplificam a extração de PDFs não estruturados para JSON com poucas linhas de SQL, mas em produção, revelam custos ocultos: cada reexecução acarreta novos gastos com processamento e chamadas a LLMs; correções manuais geram duplicatas; e mesmo com temperatura 0, a saída não é determinística, prejudicando a auditabilidade. Soluções como pipelines com checkpoints, prompts versionados e deduplicação reduzem reprocessamento e melhoram reprodutibilidade. Para documentos com estrutura estável, parsers determinísticos, como o OpenDataLoader PDF, são mais robustos.
Uma implementação funcional mínima de feature store, com apenas cinco componentes, usa DuckDB para processamento analítico e Redis para baixa latência, alinhando efetivamente os dados de treinamento e servimento em pipelines de ML e RAG em tempo real. A abordagem reduz o risco de data skew sem depender de plataformas complexas ou custosas.
O Apache DataFusion 54.0.0 foi lançado com melhorias robustas em SQL: agora suporta joins LATERAL, funções lambda para arrays e um novo leitor Avro nativo baseado em Arrow. O spill-to-disk foi implementado para nested loop joins intensivos em memória, evitando estouros. Em desempenho, sort-merge joins de LEFT/FULL alcançam ganhos de 20x a 50x, enquanto operações de repartition em alto volume melhoraram até 50%. Tudo isso reforça o papel do DataFusion como motor analítico leve e altamente extensível no ecossistema de dados.
A MotherDuck anunciou o Flights, nova funcionalidade de ingestão e transformação de dados nativa para agentes de IA. Ele permite criar, executar e agendar pipelines diretamente na plataforma, com runtime Python seguro e integrado ao DuckDB. Suporta nativamente dlt, logging, agendamento, versionamento e pode ser acionado via servidor MCP, funções de tabela SQL ou interface web. A proposta é simplificar a construção de fluxos de dados orientados por agentes, mantendo controle, auditabilidade e desempenho.
O caso da Uber mostra que escalar IA agente vai além do preço por token: o uso do Claude Code atingiu 84% dos 5.000 engenheiros e estourou o orçamento anual já em abril. Custos ocultos, como reenvio de contexto, retrieval, orquestração, governança e retries, exigem métricas por tarefa, controle rigoroso de contexto e infraestrutura de agentes com estado persistente. A economia de IA agora depende de engenharia de custo, não só de escolha de modelo.
Empresas precisam integrar expertise humana com capacidade de IA, não apostar apenas no modelo mais avançado. Dominar fluxos de trabalho próprios, metodologias de avaliação e conhecimento institucional é essencial para evolução contínua. Sem esse ecossistema interno, o valor fica concentrado nas poucas empresas que detêm os frontier models, limitando inovação e autonomia estratégica.
O Spotify lançou o Vedder, assistente de dados baseado em IA usado por mais de 2.100 usuários em 177 clusters, superando soluções RAG puramente esquemáticas em mais de 70.000 datasets. Cada cluster é cuidadosamente curado por especialistas de domínio, que fornecem datasets, pares validados de pergunta-SQL e documentação de negócio. Apenas 12,5% dos pares minerados foram aprovados; o sistema usa uma pontuação de saúde para monitorar drift, validade, cobertura e reprodutibilidade, assegurando confiabilidade contínua do contexto.
