A Anthropic tornou o Claude Dashboards generalmente disponível sob o nome Claude Data, que responde a perguntas sobre dados em data warehouses como Amazon Redshift, BigQuery e ClickHouse. Em beta, os times de dados podem certificar as queries que todos devem usar. O compartilhamento ao vivo, também em beta, mostra números atualizados a colegas que não têm acesso próprio ao conector.
A Databricks comprou a Neon por cerca de 1 bilhão de dólares, e a Snowflake adquiriu a Crunchy Data por cerca de 165 milhões de dólares. Google, Amazon e Microsoft também ampliaram seus serviços de Postgres. O artigo explica por que cinco fornecedores, com cinco estratégias diferentes, escolheram o mesmo banco de dados, o que as extensões tornaram possível e quais perguntas fazer antes de se comprometer com uma oferta de Postgres.
A Netflix verifica automaticamente se as sinopses de suas séries e filmes contêm erros factuais. O novo serviço de factualidade reduz em 52,4% o custo por sinopse e eleva o recall em sinopses não factuais de 0,77 para 0,86. As explicações geradas agora têm cerca de 82% de sobreposição com o raciocínio dos anotadores humanos, contra cerca de 69% antes.
Mistral, The Forecasting Company, Huawei e JPMorganChase lançaram foundation models de séries temporais entre 10 de setembro e 16 de outubro. Sean Moran comparou os modelos no benchmark GIFT-Eval e reexecutou três deles com pesos públicos. Os três primeiros colocados são difíceis de separar: o Timestral lidera em CRPS, enquanto o Morpheus fica à frente em MASE. Segundo a comparação, o treinamento parece explicar boa parte da melhora recente.
Uma proposta revisada para o Apache Parquet substituiria os footers monolíticos em Thrift por módulos de metadados que podem ser lidos de forma independente, codificados como páginas Parquet. Nesse desenho, os column chunks passam a ser sequências contíguas de páginas, os metadados de row group se tornam opcionais, e as estatísticas podem descrever intervalos arbitrários de linhas, em vez de grupos fixos. Com isso, os readers poderiam recuperar metadados apenas das colunas relevantes, o que reduziria o overhead de planejamento em tabelas largas. O redesenho ainda está em revisão pela comunidade e exigiria mudanças tanto em readers quanto em writers.
O Apache Iceberg v4 introduz os stats-only fields, que armazenam metadados de expressões derivadas, como buckets de partição ou strings normalizadas para minúsculas, sem materializar colunas adicionais na tabela. As estatísticas são codificadas como campos tipados nas estruturas content_stats dos manifests, o que permite pruning de arquivos com reconhecimento de expressões. Um novo flag tight_stats, no nível de arquivo, identifica contagens exatas de linhas ativas e limites elegíveis. Com isso, o planejamento de consultas melhora e, em alguns casos, é possível fazer computações apenas com metadados, sem varrer os arquivos de dados subjacentes.
Conectar agentes de IA diretamente a sistemas operacionais por meio do MCP corre o risco de recriar a análise fragmentada das planilhas, agora na velocidade das máquinas. Sem regras de negócio governadas, agentes que acessam Salesforce, Stripe ou HubSpot de forma independente podem produzir métricas conflitantes de receita e de clientes. Uma arquitetura mais confiável separa uma ontology, que traduz a intenção de negócio, de uma camada de precisão, que aplica cálculos testados. Assim, o warehouse mantém o papel de fonte única e consistente da verdade.
O Airbnb liberou como open source, sob a licença Apache 2.0, o Skipper, workflow engine embarcado que suas equipes já executam em produção. Os processos são classes Java ou Kotlin, e o progresso fica persistido no próprio banco de dados do serviço, sem a necessidade de um cluster central de orquestração. As réplicas rodam o scheduler e usam leases para assumir o trabalho quando uma delas falha.
Pesquisadores da Meta FAIR apresentaram o e-means, um algoritmo de clustering em mini-batch que atualiza os centroides com médias móveis exponenciais, em vez de reprocessar o dataset inteiro a cada iteração. Em benchmarks de embedding, ele chega a uma perda de clustering menor em 1,4 a 2,6 épocas do que o k-means tradicional de Lloyd atinge em 25. Segundo os resultados reportados, o ganho de velocidade em GPU varia de 10 a 45 vezes em relação a implementações otimizadas.
O histórico de consultas do Snowflake não diferencia uma query executada no Snowsight do mesmo SQL enviado pelo Claude por meio de um servidor MCP. O post apresenta uma solução: dar a cada servidor MCP sua própria security integration OAuth e, depois, juntar o histórico de consultas ao histórico de logins por uma única coluna. Com isso, é possível medir o uso por servidor, usuário e dia. O texto também discute em que situações essa abordagem deixa de funcionar.
Em conversa conduzida pelo CEO da MotherDuck com um engenheiro de dados sobre como a IA mudou o trabalho da área, o ponto central é o papel dos agentes de IA: eles permitem que usuários de negócio respondam às próprias perguntas. Com isso, o foco dos engenheiros de dados se desloca para a manutenção dos dados, do contexto e da confiabilidade.
Conteúdo curado diariamente, direto no seu e-mail.
