CEVIU News

CEVIU News - CEVIU Dados - 19 de novembro de 2026

12 notícias19 de novembro de 2026CEVIU Dados
Compartilhar:

📊 CEVIU Dados

O MongoDB anunciou a aquisição da Firebolt, com o objetivo de integrar seu motor de analytics diretamente ao banco de dados. A estratégia visa eliminar a complexidade da construção de pipelines, mantendo os dados automaticamente sincronizados. A empresa enfatiza que essa aquisição removerá a carga de movimentação de dados, possibilitando a execução de milhares de consultas concorrentes e fornecendo respostas em submilisegundos sobre dados atualizados. A tecnologia da Firebolt será incorporada às funcionalidades de busca, busca vetorial e aos modelos de IA Voyage já existentes na plataforma MongoDB.

O LinkedIn anunciou a reconstrução de sua plataforma de linhagem de dados, agora capaz de capturar dependências diretamente de jobs em execução. Essa evolução proporciona aos engenheiros uma visão mais exata sobre a origem dos dados e suas interconexões. O gráfico gerado pela plataforma abrange aproximadamente 6 milhões de datasets, fornecendo suporte crucial para as equipes na rastreabilidade de incidentes, na avaliação do impacto de modificações e na desativação segura de pipelines obsoletos.

Para salvaguardar informações de identificação pessoal (PII) em seus fluxos de trabalho de Machine Learning, o Airbnb implementou uma solução baseada no Presidio, ferramenta de código aberto da Microsoft. A empresa adaptou o Presidio, integrando-o como uma etapa essencial em seu pipeline de processamento de dados. A abordagem incluiu o desenvolvimento de reconhecedores específicos para o domínio do Airbnb e uma avaliação multilíngue dos dados. Os conjuntos de dados desidentificados resultantes são devidamente marcados em seu registro de modelos. Essa estratégia visa converter políticas de privacidade em controles de dados padronizados, reutilizáveis e passíveis de teste, evitando que equipes internas criem soluções fragmentadas e inconsistentes.

A DBTrail investigou a possibilidade de integrar as mudanças de dados do MySQL no Iceberg sem a necessidade de um pipeline de warehouse customizado. O estudo monitorou o binlog, exportou snapshots iniciais e incrementais para quatro catálogos REST open source e validou as contagens de linhas e agregações utilizando Trino e DuckDB, comparando os resultados com o MySQL. Os testes identificaram lacunas reais de interoperabilidade, particularmente na gestão de credenciais e no tratamento de exclusões por igualdade, indo além da compatibilidade observada em cenários ideais.

O Microsoft Fabric introduz o Project Osmos, um agente de IA projetado para automatizar a engenharia de dados. A ferramenta é capaz de planejar, construir, executar e validar pipelines de dados Spark a partir de especificações textuais. Em um teste prático com dados de horários de transporte público de Viena, o agente demonstrou a capacidade de criar um pipeline funcional. Contudo, validações independentes revelaram uma falha relacionada ao horário de verão, um erro que os próprios testes do agente não conseguiram identificar.

A IA e as ferramentas de dados mais recentes estão impulsionando uma aceleração significativa na construção de pipelines e na resolução de questões de negócio cotidianas. Esse avanço permite que cientistas de dados dediquem mais tempo a formular perguntas estratégicas, conceber experimentos e empregar agentes de IA para validar os fatores que verdadeiramente impactam os resultados das empresas.

Contratos de dados emergem como uma abordagem para aplicar o design de API a conjuntos de dados, visando descrever seu conteúdo e garantias. Essa metodologia permite que tanto equipes humanas quanto agentes de IA trabalhem com os dados de forma mais autônoma e eficiente. Uma das características centrais é a transformação de regras de qualidade, por exemplo, a validação de que menos de 1% dos nomes estão vazios, em asserções verificáveis por ferramentas automatizadas. Os resultados desses testes podem então ser publicados, oferecendo transparência sobre a frequência com que cada promessa de qualidade foi cumprida.

O DocumentDB 1.0 alcançou a disponibilidade geral (GA), oferecendo uma solução de armazenamento de documentos compatível com MongoDB para PostgreSQL. Lançado sob a licença MIT, o projeto funciona por meio de uma extensão PostgreSQL e um gateway de protocolo, permitindo que drivers e consultas existentes do MongoDB operem sobre uma base relacional familiar. A versão GA suporta PostgreSQL 15-18, inclui um operador Kubernetes e concentra-se na estabilidade de funcionalidades como indexação, agregação e consultas geoespaciais.

A segurança de agentes de dados que utilizam a conversão de Linguagem Natural para SQL (NL2SQL) é um desafio, especialmente com contas de serviço compartilhadas que podem subverter controles de nível de usuário. Um protótipo recente propõe uma solução através da análise do SQL gerado em uma Árvore de Sintaxe Abstrata (AST), identificando dependências de tabelas e colunas. Em seguida, políticas Common Expression Language (CEL) são avaliadas para preparar filtros de linha aprovados antes da execução da consulta. Embora roles de banco de dados permaneçam como a última camada de segurança, a abordagem enfatiza a importância de autorizar as dependências reais da consulta, e não apenas o resultado visível, para garantir a governança de dados.

O SurrealDB anunciou que seu banco de dados Earth atingiu a marca de mais de 10 bilhões de linhas escaneadas por segundo em um benchmark de lançamento. Esse feito foi alcançado ao distribuir uma única query entre aproximadamente 1.000 Cloudflare Workers. Cada worker é responsável por ler uma fatia específica do mesmo snapshot do banco de dados, enquanto o SurrealDB coordena a verificação e a combinação dos resultados para consolidá-los em uma única resposta.

O LanceDB anunciou o desenvolvimento do layout multi-base, uma nova funcionalidade que permite que um conjunto de dados seja distribuído por diversos locais de armazenamento. O objetivo é aprimorar a portabilidade dos dados e eliminar a necessidade de reescritas completas de caminho, que geralmente são exigidas quando há migrações ou escalonamento de dados entre buckets, otimizando assim a gestão de dados em larga escala.

Receba as melhores notícias de tech

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser