A Rippling substituiu seus armazéns de dados fragmentados e processos manuais por um banco de dados de IA implantado em lakehouse, otimizado para operações GTM baseadas em agentes. A nova arquitetura adota medallion architecture, resolução de entidades com ML entre fontes externas, semantic search em conversas enriquecidas e uma interface Genie com linguagem natural, usada diretamente por agentes de IA para ações autônomas.
CEVIU News
As melhores notícias de tecnologia, curadas diariamente para quem vive tech.
222 notícias encontradas
Usar NOT IN no PostgreSQL é uma armadilha frequente para engenheiros de dados: se houver ao menos um valor NULL na subconsulta ou na lista de comparação, toda a cláusula retorna NULL, e, por consequência, zero linhas. Isso ocorre pela lógica de três valores (TRUE/FALSE/UNKNOWN) do SQL, onde qualquer comparação com NULL resulta em UNKNOWN, fazendo a condição falhar silenciosamente. A solução? Substituir NOT IN por NOT EXISTS ou tratar explicitamente os NULLs com COALESCE ou IS NOT NULL.
Após a expansão do suporte da AWS ao Apache Iceberg, incluindo integração com S3 Tables, uma equipe migrou seu data lake baseado em Parquet no S3 e AWS Glue Catalog (estilo Hive) para o Iceberg. A mudança resolveu gargalos crônicos: pruning de consultas mais eficiente, evolução contínua de schema e partições, time travel nativo e planejamento de queries com desempenho superior.
O processamento de dados está deixando os fluxos ETL tradicionais baseados em SQL e CPU para adotar pipelines orientados a inference em GPU, essenciais para lidar com vídeos, áudio, PDFs, dados do Slack e sensores. Hoje, modelos de IA realizam a curadoria inicial: geram embeddings, labels, resumos e registros estruturados, alimentando sistemas SQL e buscadores vetoriais. Essa mudança impulsiona a adoção de arquiteturas com computação mista (CPU+GPU), processamento em streaming e concorrência gerenciada por API.
Entity Resolution e MDM nativo em data warehouse são pilares para confiabilidade de produtos de dados, IA e conformidade regulatória. Em ambientes corporativos, validações pontuais falham, gerando duplicação de clientes, entidades fantasmas e risco de contaminação de modelos de IA. A abordagem eficaz combina bloqueio, matching por regras e ML, agrupamento em grafos e revisão humana, tudo orquestrado diretamente no data warehouse.
O Databricks Lakehouse//RT é um novo data warehouse em tempo real baseado no motor Reyden, capaz de executar consultas em milissegundos diretamente sobre dados armazenados no lakehouse, sem necessidade de replicação, movimentação ou camadas intermediárias. A solução visa simplificar analítica em tempo real, BI, aplicações e observability, mantendo governança robusta, formatos de dados abertos (como Delta Lake) e integração nativa com o ecossistema Databricks.
A Guidewire adotou o Apache Trino para executar queries SQL federadas entre Iceberg, Redshift, OpenSearch e buckets S3 de clientes, acelerando workflows exploratórios de ML. O isolamento multi-tenant foi viabilizado com catálogos por domínio, ABAC via Lake Formation e RBAC no Trino, mas a camada S3 do Trino revelou uma lacuna crítica na governança de dados, especialmente no controle de acesso granular a objetos armazenados.
Foi lançada a versão 1.0 da extensão pg_kpart para PostgreSQL, que impede execução de consultas em tabelas particionadas quando não há uso explícito da chave de partição no plano, evitando assim varreduras completas e sobrecargas de I/O. A ferramenta oferece recursos de auditoria, listas de permissão ou bloqueio por consulta e tratamento personalizado de códigos SQLSTATE. Disponível apenas para sistemas Linux.
O sistema Data 360 da Salesforce lida com um quatrilhão de registros mensais, adaptando-se a esquemas de dados variados de clientes, grafos de relacionamento e múltiplos sistemas de armazenamento. São cerca de 3 milhões de jobs Spark executados por mês. O principal desafio técnico emergente é a gestão de metadados: em ambientes grandes, há de 3.000 a 6.000 tabelas, payloads superiores a 500 MB e bilhões de planos de consulta candidatos, o que transformou essa camada na principal restrição arquitetural.
A Heidi AI conseguiu equalizar o desempenho de um modelo clínico menor ao de modelos de fronteira por meio de fine-tuning, validado em testes cegos de preferência clínica. O diferencial está no uso de feedback clínico proprietário, verificações rigorosas de safety e um loop de produto alinhado ao julgamento prático de profissionais de saúde, reduzindo dependência de infraestrutura pesada sem comprometer precisão ou confiabilidade.
O caso da Uber mostra que escalar IA agente vai além do preço por token: o uso do Claude Code atingiu 84% dos 5.000 engenheiros e estourou o orçamento anual já em abril. Custos ocultos, como reenvio de contexto, retrieval, orquestração, governança e retries, exigem métricas por tarefa, controle rigoroso de contexto e infraestrutura de agentes com estado persistente. A economia de IA agora depende de engenharia de custo, não só de escolha de modelo.
A MotherDuck anunciou o Flights, nova funcionalidade de ingestão e transformação de dados nativa para agentes de IA. Ele permite criar, executar e agendar pipelines diretamente na plataforma, com runtime Python seguro e integrado ao DuckDB. Suporta nativamente dlt, logging, agendamento, versionamento e pode ser acionado via servidor MCP, funções de tabela SQL ou interface web. A proposta é simplificar a construção de fluxos de dados orientados por agentes, mantendo controle, auditabilidade e desempenho.
Empresas precisam integrar expertise humana com capacidade de IA, não apostar apenas no modelo mais avançado. Dominar fluxos de trabalho próprios, metodologias de avaliação e conhecimento institucional é essencial para evolução contínua. Sem esse ecossistema interno, o valor fica concentrado nas poucas empresas que detêm os frontier models, limitando inovação e autonomia estratégica.
O Apache DataFusion 54.0.0 foi lançado com melhorias robustas em SQL: agora suporta joins LATERAL, funções lambda para arrays e um novo leitor Avro nativo baseado em Arrow. O spill-to-disk foi implementado para nested loop joins intensivos em memória, evitando estouros. Em desempenho, sort-merge joins de LEFT/FULL alcançam ganhos de 20x a 50x, enquanto operações de repartition em alto volume melhoraram até 50%. Tudo isso reforça o papel do DataFusion como motor analítico leve e altamente extensível no ecossistema de dados.
As funções ai_parse_document e ai_query do Databricks simplificam a extração de PDFs não estruturados para JSON com poucas linhas de SQL, mas em produção, revelam custos ocultos: cada reexecução acarreta novos gastos com processamento e chamadas a LLMs; correções manuais geram duplicatas; e mesmo com temperatura 0, a saída não é determinística, prejudicando a auditabilidade. Soluções como pipelines com checkpoints, prompts versionados e deduplicação reduzem reprocessamento e melhoram reprodutibilidade. Para documentos com estrutura estável, parsers determinísticos, como o OpenDataLoader PDF, são mais robustos.
Uma implementação funcional mínima de feature store, com apenas cinco componentes, usa DuckDB para processamento analítico e Redis para baixa latência, alinhando efetivamente os dados de treinamento e servimento em pipelines de ML e RAG em tempo real. A abordagem reduz o risco de data skew sem depender de plataformas complexas ou custosas.
O Google Research apresentou os testes de Kernel de f-Divergência Regularizada, um novo framework para auditoria de machine unlearning que detecta vazamentos de privacidade com precisão superior aos tradicionais testes de duas amostras. A abordagem melhora a confiabilidade na verificação de se um modelo realmente esqueceu dados sensíveis após solicitação de exclusão, requisito crítico para conformidade com regulamentações como LGPD e GDPR.
A Linux Foundation anunciou o projeto OpenSharing, que amplia o protocolo Delta Sharing, agora sob sua governança após transferência da Databricks. O novo padrão suporta não só dados estruturados, mas também modelos de IA, habilidades de agentes e dados não estruturados, com APIs abertas para descoberta, autorização e acesso. Ele integra destinatários do Delta Sharing e clientes de catálogos Apache Iceberg/REST, visando substituir marketplaces proprietários por uma única camada interoperável para distribuição de ativos de IA empresarial.
Agentes de codificação com IA aliviam tarefas repetitivas, mas não resolvem os desafios centrais do desenvolvimento: julgamento de arquitetura, controle de escopo, testes robustos e manutenibilidade. Ao reduzir a complexidade acidental, podem, paradoxalmente, gerar dívida técnica, desvios arquiteturais e bases de código infladas, e rápido. A vantagem competitiva continua com engenheiros especializados, capazes de orientar modelos, estabelecer guardrails e garantir sistemas prontos para produção.
O Feldera processa fluxos de dados como visões SQL incrementais, com base no DBSP: em vez de recalcular joins e agregações a cada nova entrada, ele propaga apenas os deltas, inserções, deleções e atualizações, representados como mudanças em Z-sets. Assim, só as linhas efetivamente afetadas são modificadas. O resultado é uma semântica SQL consistente em ambientes contínuos, com menor uso de CPU, redução da pressão sobre memória e latência previsível.