Os cientistas de dados não estão se tornando obsoletos apesar do avanço dos poderosos LLMs e das APIs de IA fáceis de usar. Em vez disso, suas habilidades centrais em experimentação, design de avaliação, observabilidade, criação de métricas e a constante análise dos dados são mais críticas do que nunca, formando a "harness" essencial que torna os agentes e sistemas de IA confiáveis, depuráveis e eficazes em produção.
A Meta desenvolveu um Agente de IA Analítica interno para lidar de forma autônoma com tarefas de análise de dados rotineiras. Ele utiliza um sistema de conhecimento em camadas com "Cookbooks" (especialização de domínio), "Recipes" (fluxos de trabalho passo a passo com validações) e "Ingredients" (modelos semânticos, documentação e histórico de consultas) para reunir contexto rico das consultas anteriores dos usuários, executando um loop iterativo de raciocínio.
Os data sketches são estruturas de dados probabilísticas e compactas que criam pequenos resumos de conjuntos de dados massivos em uma única passagem. Elas trocam um pequeno erro, matematicamente limitado, por grandes ganhos em velocidade e eficiência de memória, tornando-se ideais para análises de big data em plataformas como Spark, Druid, Pinot, BigQuery e Presto/Trino.
Solicitações de dashboards são frequentemente pedidos por visibilidade teatral, propriedade de dados, redução de ansiedade ou exportação de dados brutos, mas não por necessidades reais de BI. Tratar equipes de dados como uma "API SQL Humana" cria dívida técnica, pipelines órfãos e ambientes ruidosos e não confiáveis, especialmente quando dashboards carecem de donos claros ou processos de desativação. É essencial que as partes interessadas definam a decisão, a ação e a responsabilidade antes de qualquer dashboard ser construído.
A Faire implementou um modelo de recuperação neural disperso para resolver o descompasso vocabular em buscas de marketplace, mantendo a compatibilidade com Elasticsearch e a interpretabilidade. Ao expandir consultas e documentos com termos semanticamente relacionados, o sistema melhorou em mais de 30% a qualidade dos candidatos de cauda longa, aumentou em 4,27% o valor da ordem da página de busca e elevou o valor global dos pedidos no marketplace. Escolhas de engenharia chave incluíram o pré-treinamento do BERT específico de domínio, tokenização WordPiece, max pooling, penalidades de dispersão assimétrica e a mudança do blending do Product Quality Score para o tempo de indexação para preservar a latência.
Agentes de codificação de IA podem gerar código convincente e pronto para produção, que passa em testes, mas ainda falha em sistemas reais, criando falsa confiança e risco. A solução é utilizar agentes sem depender deles, mantendo a responsabilidade humana e construindo uma infraestrutura robusta que faça a implantação segura ser o padrão.
A Fivetran está doando o SQLMesh, seu framework de transformação baseado em SQL adquirido com a Tobiko Data em setembro passado, para a Linux Foundation. O objetivo é promover uma governança neutra de fornecedor na camada de transformação. O SQLMesh introduz testes, versionamento e workflows similares ao Terraform para pipelines SQL. A estratégia visa moldar o padrão de infraestrutura de dados aberta, ao lado do dbt, e fomentar a adoção por meio da participação da comunidade.
A IA generativa torna o código mais acessível, mas o alinhamento arquitetural se torna um gargalo. A governança tradicional não escala. A solução é uma arquitetura declarativa, onde as decisões são codificadas como restrições legíveis por máquina, incorporadas no tooling de desenvolvimento e acessíveis a agentes. Isso desloca a governança da revisão humana para diretrizes automatizadas, permitindo equipes e agentes autônomos enquanto previne desvios. O caminho correto se torna o padrão, com "fatias" compostáveis para evolução segura.
Um pipeline modular e pronto para produção utilizando PyTorch DDP para treinamento multi-node e multi-GPU.
Chaves primárias UUIDv4 aleatórias prejudicam o desempenho de bancos de dados ao causarem inserções aleatórias, divisões frequentes de páginas, fragmentação e cache ineficiente em motores de armazenamento B+ tree. IDs com ordem temporal (como UUIDv7/ULID) ou uma chave interna sequencial com um índice secundário de UUID restauram escritas sequenciais e melhoram significativamente a eficiência.
O Feast incorporou monitoramento ao feature server usando Prometheus e OpenTelemetry, tornando-o observável como qualquer API de produção. As equipes podem acompanhar latência, throughput, retrieval de features e saúde do sistema, permitindo SLOs adequados e alertas.
Em vez de focar apenas no tempo de execução do banco de dados, a Datadog se concentrou na latência de consulta round-trip usando uma observabilidade personalizada para decompor essa latência em componentes. Isso revelou gargalos ocultos como contendas de conexão, picos de latência de rede e manipulação ineficiente de resultados.
A plataforma de perguntas e respostas com IA do Notion escalou para milhões de usuários ao evoluir sua arquitetura de busca vetorial por meio de dupla ingestão, otimização de estado de página, migração para serverless e adoção do turbopuffer. Essas decisões resultaram em um aumento de 600 vezes no onboarding, redução de 60% nos custos de busca e melhoria da latência p50 para 50–70ms. Além disso, o uso do Ray e Anyscale levou a mais de 90% de redução nos custos de infraestrutura de embeddings. O sistema agora é mais simples, econômico e suporta recuperação de documentos semanticamente rica em tempo real e em escala empresarial.
A adoção de IA é quase universal hoje em dia (99,5% usam ferramentas de IA, 82% diariamente ou mais), com o Claude dominando. No entanto, a IA não resolveu as partes realmente difíceis: sistemas legados, falta de liderança, requisitos inadequados, e modelagem de dados e camadas semânticas. A IA acelera a produção, mas corre o risco de criar mais dívida técnica e "pântanos de produção" se fundamentos como contexto, responsabilidade e arquitetura forem ignorados.
A EloElo desenvolveu um mecanismo de roteamento de tráfego de alto desempenho que atribui usuários a variantes de experimentos em tempo real, garante atribuição consistente onde necessário, acompanha métricas e suporta aumentos graduais de tráfego. A arquitetura evoluiu de uma V1 pesada em memória (Redis HashMaps) para uma V2 eficiente usando Redis BitFields (3 bits por usuário, particionada para escala), e uma V3 sem estado para experimentos não fixos.
Implementar um rastreamento detalhado, baseado em nós, dentro de workflows de extração em várias etapas, modelados como um ledger apenas com adição e serializável, permite visibilidade determinística em pipelines de dados movidos por LLM. Ao rastrear cada decisão, retry e roteamento de DLQ como nós distintos, não só se preservam cadeias causais e se permite a invalidação de cache eficiente e pormenorizada, como também se transforma a depuração e a capacidade de repetição, permitindo que as equipes auditem e executem novamente etapas de extração sem reprocessar o sistema inteiro.
O LinkedIn desenvolveu agentes de IA para acelerar a experimentação de modelos e o trabalho de infraestrutura, focando na otimização de LLMs após o treinamento e na migração de grandes modelos do TensorFlow para o PyTorch. Seu principal agente, o Autopilot for Torch, gera códigos/configurações, executa verificadores automáticos para garantir correção (treinabilidade, estabilidade numérica e paridade de métricas) e recebe feedback estruturado para melhoria contínua.
O trabalho em ciência de dados focado na construção e ajuste de modelos está rapidamente se tornando obsoleto à medida que agentes de IA e modelos fundacionais assumem o protagonismo. Hoje, cientistas de dados concentram-se em quatro responsabilidades principais: definir problemas e métricas de negócios, projetar frameworks de avaliação e guardrails, curar dados de alta qualidade e construir sistemas confiáveis de agentes com prompts, ferramentas e supervisão humana.
O engine Fusion do dbt entrega uma transformação semelhante ao TypeScript para o desenvolvimento SQL, introduzindo um sistema de tipos e um servidor de linguagem que oferecem verificação de tipos em tempo real, autocompletar inteligente, linhagem inline e refatoração automatizada em data warehouses heterogêneos.
A pandemia de COVID-19 quebrou completamente os modelos de previsão de demanda da Airbnb em março de 2020. Os modelos, treinados com padrões históricos estáveis, falharam em lidar com grandes oscilações no volume de reservas, picos imprevisíveis de cancelamentos e o colapso da relação normal entre a data de reserva e a data da viagem (composição do tempo de antecedência). Para resolver isso, a Airbnb dividiu a previsão em métricas brutas de reservas na data do booking e composição do tempo de antecedência (a proporção de reservas que se tornam viagens em diferentes datas futuras).
