A ingestão de dados parece simples, mas uma escolha inadequada pode gerar custos ocultos através de conectores falhos, schema drift, over-engineering e tempo de engenharia desperdiçado. A abordagem ideal geralmente é híbrida: conectores gerenciados para SaaS padrão, streaming apenas quando baixa latência é crucial, e pipelines customizados para fontes de dados de nicho ou legadas.
CEVIU News
As melhores notícias de tecnologia, curadas diariamente para quem vive tech.
16198 notícias encontradas
Uma ontology em linguagem natural pode funcionar como uma política de acesso em runtime que se mantém funcional durante a evolução de schema. Isso permite que um LLM classifique colunas individualmente, utilizando contagens de linhas, proporções de cardinalidade e valores amostrados. Essa abordagem mantém a política separada do código do pipeline, mas não aborda inferências numéricas sensíveis nem a reidentificação entre colunas.
A transição da Cloudflare para retenção por tenant em uma tabela massiva do ClickHouse, "Ready-Analytics", revelou um limite inesperado de escalabilidade: o planejamento de queries, e não o I/O ou volume de varredura, tornou-se o gargalo à medida que as 'parts per replica' aumentavam. O tracing mostrou que 45% do tempo de CPU da query folha era gasto na filtragem de partes. A mudança para um shared lock e, subsequentemente, para um cache de leitura compartilhada, removeu a maior parte da contenção e reduziu drasticamente a latência das queries.
Uma grande pane na AWS US-EAST-1 em maio foi causada por um evento de superaquecimento em um único data center, resultando em interrupções de várias horas para serviços de alto perfil como a Coinbase. O incidente destacou a diferença crítica entre alta disponibilidade Multi-AZ (que falhou em proteger cargas de trabalho sensíveis à latência) e a verdadeira recuperação de desastres cross-region.
O Viaduct 1.0 é o data-oriented service mesh open-source da Airbnb, construído sobre GraphQL. Ele oferece um esquema unificado para acessar qualquer fonte de dados na empresa, permitindo o desenvolvimento descentralizado por meio de módulos multi-tenant. As equipes podem contribuir com seus próprios esquemas e resolvers sem a necessidade de operar serviços GraphQL separados, equilibrando um servidor GraphQL monolítico com a federação completa.
Agentes de IA capazes de escrever em sistemas de produção criam um novo problema de responsabilidade e recuperação. Um agente da Replit, por exemplo, já apagou um banco de dados em produção, e o problema principal não foi a falha em si, mas a ausência de propriedade clara, guardrails e um plano de rollback. Com 86% dos líderes de TI e segurança esperando que os agentes de IA superem os controles atuais, a governança torna-se uma responsabilidade compartilhada entre arquitetura, segurança, jurídico e negócio. Controles práticos como limites de políticas, observability, triagem com intervenção humana (human-in-the-loop) e mecanismos explícitos de recuperação são essenciais para evitar que ferramentas autônomas se tornem um risco para toda a empresa.
Líderes de dados ainda enfrentam os mesmos desafios centrais, apesar do hype da IA: provar o valor para o negócio, gerenciar as políticas dos stakeholders, evitar a proliferação de dashboards, modelos e ferramentas, e recusar solicitações de baixo valor.
O Apache Arrow está se consolidando rapidamente como o formato colunar universal em memória para intercâmbio de dados na stack moderna de dados. Em vez de serializar, desserializar e copiar dados repetidamente entre ferramentas (Pandas → Spark → bancos de dados, etc.), o Arrow permite uma transferência de zero-copy, onde os sistemas compartilham exatamente o mesmo layout de memória, reduzindo drasticamente o overhead da CPU.
O PostgreSQL apresenta inconsistências na forma como resolve nomes de colunas e expressões em cláusulas ORDER BY. Por exemplo, identificadores simples (como ORDER BY a) procuram primeiramente por aliases na lista SELECT, enquanto qualquer expressão (como ORDER BY -a) se resolve contra a cláusula FROM. Isso leva a comportamentos confusos quando se utilizam aliases, aspas, GROUP BY, funções de janela e UNION.
O Context Pruning é a prática de remover seletivamente tokens, sentenças ou passagens de baixo valor da entrada de um LLM para reduzir custos, latência e, frequentemente, melhorar a qualidade da saída. Inclui técnicas como pruning em nível de token, sentença/chunk, baseado em attention e pruning dinâmico progressivo por camada, e funciona melhor quando combinado com caching semântico.
Para o RAG (Retrieval Augmented Generation) em produção, são cruciais estratégias inteligentes de "chunking" (recursivas, semânticas e cientes da estrutura), pipelines robustos de indexação com registros de documentos e "hashing" de conteúdo para atualizações eficientes. É essencial gerenciar modelos de "embedding" cuidadosamente e utilizar a troca de índices com zero "downtime" baseada em "alias". Além disso, uma forte "observability" com "tracing" detalhado, atribuição de "chunks" e métricas de qualidade de "retrieval" são fundamentais.
O MemKV da MinIO é um armazenamento de contexto de memória em escala de petabytes para inference de IA, projetado para preservar e compartilhar o estado da sessão entre clusters de GPU. Ao mover o contexto diretamente de NVMe para o caminho de dados da IA via 800 GbE RDMA, ele aborda o problema do "recompute tax" e afirma alcançar mais de 95% de melhor utilização de GPU e cerca de 50% menos custo por token em cargas de trabalho de benchmark.
Agentes de software interagem com sistemas de maneira distinta dos humanos, o que exige uma reestruturação da infraestrutura. É necessário repensar o design para incluir snapshots, branching, escalabilidade elástica, alta concorrência, isolamento e experimentação de baixo custo.
A Anthropic enfrentou críticas recentes por restringir recursos para desenvolvedores e banir contas, medidas que provavelmente foram desesperadas para gerenciar um crescimento de uso que excedeu muito os planos iniciais de capacidade. Para resolver essa escassez de infraestrutura, a empresa chegou a um acordo para alugar espaço em data center da xAI, o que permitirá aumentar os limites de rate da API e restaurar o acesso para assinantes do Claude Pro.
A desconexão física do modem interno e da antena GPS de um veículo impede a coleta automatizada e venda de dados privados de telemetria de condução e localização para corretores terceirizados.
Um staff engineer integrou o Herb, parser baseado em C para templates HTML+ERB, em um monolith Rails com aproximadamente 500 mil linhas de ERB para validação antes de uma possível substituição do Erubi no core do Rails. A ferramenta identificou bugs reais que o linting existente não detectou, incluindo HTML malformado e Ruby inválido em branches não testados, enquanto assistentes de IA corrigiram automaticamente a maioria dos cerca de 2.800 arquivos com falhas em uma única tentativa.
Laboratórios de IA estão adquirindo equipes de ferramentas de desenvolvimento para garantir controle sobre a infraestrutura essencial, como gerenciadores de pacotes e runtimes, da qual seus agentes de programação dependem para funcionar. Desenvolvedores devem usar essas ferramentas evitando acoplamento específico de plataforma e acompanhando mudanças na manutenção.
O ChatGPT Codex está disponível em preview no app móvel do ChatGPT, permitindo que usuários gerenciem tarefas de IA e sincronizem com ambientes remotos através de uma camada de relay segura que protege arquivos sensíveis.
Produzir trabalho sem erros é fundamental para profissionais do conhecimento, pois descuidos corroem confiança e credibilidade, exigindo que funcionários assumam responsabilidade total por suas tarefas sem depender de gerentes ou clientes para detectar falhas. Para superar a falta de orientação natural para detalhes, implementar sistemas como checklists e ferramentas de formatação pode prevenir efetivamente que pequenos erros se tornem obstáculos na carreira.
Profissionais de alto nível estão migrando cada vez mais para funções de contribuidor individual de alto impacto, entregando valor de negócio completo de ponta a ponta sem o peso dos altos custos de coordenação de equipes. Isso acontece porque a IA atua como multiplicador de força, permitindo que uma única pessoa execute tarefas multidisciplinares e possibilitando que empresas achatem estruturas organizacionais ao recompensar impacto direto nos negócios em vez do tamanho das equipes.