Lance Martin, da Anthropic, descreve o dreaming, processo em que o Claude analisa logs de sessões anteriores para corrigir erros em suas notas de memória e criar novas. Quando o dreaming escalou de duas para 128 sessões, sobre cerca de 350 mil arquivos da Stainless, a pontuação em 25 perguntas subiu de 13% para 48%. Em perguntas sobre fusões e aquisições, uma wiki superou apenas a busca por 87% a 73%.
A Klaviyo expandiu sua plataforma de analytics com IA, que saiu de um experimento com quatro pessoas e chegou a centenas de usuários mensais. O avanço veio da centralização de contexto de negócio, métricas governadas e acesso ao warehouse. O sistema KBI reúne mais de 100 métricas semânticas do dbt, um ambiente curado com 90 tabelas e verificações de SQL confiáveis, tudo por trás de uma interface comum para agentes. Hoje, a maioria das consultas ao warehouse parte de agentes, o que reduz a dependência de pedidos manuais a analistas e mantém as definições de dados consistentes.
O Apache Spark 4.3.0 traz processamento stateful ao Real-Time Mode do Structured Streaming, com suporte a agregações, deduplicação e operações stateful customizadas, com latência de ponta a ponta de aproximadamente 100 ms. Nos Declarative Pipelines, chega o SCD Type 2 Auto CDC. Já o engine SQL passa a contar com ASOF joins, JSON_TABLE e otimizações para workloads menores.
O Pinterest descobriu que treinar seus grandes ID embeddings por várias epochs degradou a qualidade do ranking do Homefeed em quase 6%. A solução foi desacoplar a otimização dos embeddings do restante do modelo, congelá-los durante a primeira epoch e adaptá-los depois, o que melhorou os saves online em 1,09%. Além disso, o prefetching semissíncrono e otimizações de comunicação reduziram o tempo ocioso de GPU no treinamento distribuído.
Usuários da JetBrains pediam havia tempo a possibilidade de fazer join de dados entre conexões de bancos distintos em uma única query. Em vez de construir um engine próprio, a equipe do DataGrip optou pelo DuckDB, escolhido no lugar do Apache Calcite por ser a opção mais simples de integrar. Table functions customizadas conectam o DuckDB à execução de queries já existente no DataGrip, de modo que dados de PostgreSQL, MySQL e MongoDB possam se encontrar em uma mesma query.
A adoção de data mesh costuma travar porque as equipes precisam montar data products a partir de infraestrutura, catálogos e ferramentas de deployment desconectados. Para enfrentar o problema, Tom De Wolf propõe um modelo de maturidade de quatro níveis para plataformas de dados self-service, que vai de scripts fragmentados e tickets até ecossistemas integrados para desenvolvedores. Ele argumenta que o Nível 3, em que data products completos podem ser provisionados por meio de uma experiência de plataforma como produto, é o mínimo necessário para uma propriedade descentralizada escalável.
Um text-to-SQL preciso ainda pode expor dados não autorizados quando as consultas geradas ignoram o contexto de negócio e as políticas de acesso. Em um benchmark sintético com 900 consultas, a validação com reconhecimento de políticas aplicou filtros de linha, mascaramento de colunas e restrições de escopo antes da execução. O resultado: os vazamentos de dados observados foram eliminados, com um custo adicional de cerca de 6,5 ms por consulta. A conclusão é que as permissões devem ser aplicadas no código, e não confiadas aos prompts do modelo.
Uma semantic layer depende de um entendimento humano compartilhado. Mesmo com o cálculo consistente, equipes diferentes podem interpretar a mesma métrica de formas distintas. Segundo o texto, a governança deve combinar definições formais com explicações em linguagem simples, exemplos realistas e direitos de decisão claros. O passo seguinte é testar se as equipes aplicam essas definições de maneira consistente.
O Apache Hop 2.20 passa a ler e gravar nativamente em Apache Iceberg, sem depender do Spark. A versão também traz saída em Parquet particionado e novas transformações de qualidade de dados. A plataforma open source de ETL ainda ganha pipelines de text embedding, integração com pgvector, suporte a OpenLineage e um assistente de IA opcional, com alterações revisadas por humanos.
Pesquisadores avaliaram oito LLMs e constataram que o desempenho na limpeza de dados frequentemente depende de nomes e fatos familiares. Em um dos modelos, a precisão na correção de anos caiu de 91% para 18% quando os nomes dos filmes foram trocados. Os modelos também sobrescreveram valores válidos das tabelas com fatos memorizados, e respostas com falhas em benchmarks às vezes recompensaram correções incorretas.
O Daily Methane Digest, do JPL da NASA, analisa todas as cenas do instrumento EMIT, a bordo da estação espacial, e reduz o tempo de alerta de meses para cerca de 24 horas. A U-Net, treinada apenas com dados de metano, também mapeia plumas de monóxido de carbono, amônia e dióxido de nitrogênio, sem necessidade de retreinamento. Em dois anos de cenas arquivadas, o sistema encontrou 157 plumas de metano que haviam passado despercebidas na revisão humana.
O agente de dados da Canva registra a intenção das consultas e o jargão de negócio em comentários SQL. A equipe analisa esse material para construir uma camada semântica, conciliar a terminologia entre departamentos e testar respostas inseguras.
