Netflix usa LLMs para diagnosticar falhas de forma mais confiável com o Pensive AI

O Pensive AI é a evolução do Pensive, sistema de diagnóstico e remediação automática da plataforma de dados da Netflix. Na versão original, regex e regras em Java escritas à mão extraíam e classificavam erros e repassavam orientação de retry a produtos como o Maestro. Isso tornou cerca de 50% das falhas autoatendidas. O limite era a cobertura: em três meses, o sistema processou cerca de sete milhões de classificações de falhas, e quase metade caiu em "desconhecido". Em dias de pico, cerca de 100 mil workloads falham.

A decisão central de arquitetura é não pedir ao modelo que repita o stack trace. O Pensive numera as linhas do log e envia registros {lineNumber, text}. O modelo devolve só dois inteiros, a primeira e a última linha do trecho do erro, e o sistema reconstrói o texto a partir da cópia do próprio log. Isso reduz custo e latência (gerar tokens é bem mais lento que lê-los) e limita hallucination, embora o modelo ainda possa escolher o intervalo errado. A extração roda em paralelo por log, com prazo compartilhado dentro do timeout rígido de 90 segundos do Maestro. Chamadas que estouram o prazo ficam fora do resultado.

O diagnóstico completo (causa raiz e remediação) roda sob demanda, via API, MCP e Data Portal, e leva de dezenas de segundos a um minuto. A unidade de trabalho é a tentativa de step que falhou, e o cache por tentativa vira leitura chave-valor, com escrita condicional para evitar geração duplicada e expiração em 90 dias. As respostas saem por server-sent events, com cada evento trazendo a resposta completa até ali. Para avaliação, as regras antigas servem de rótulo de referência, e os logs são arquivados no S3 para repetir experimentos. Os sinais medidos são inclusão, precisão, ruído repetido e latência. Segundo a Netflix, a extração por IA cobre 100% das falhas. Tentativas sem uso do Pensive AI tiveram em média 321% mais ações manuais de exploração de logs, numa comparação observacional, não causal. A migração de clientes ainda está em andamento, e o Data Portal já lê o novo campo, enquanto editor de queries, notebooks do Workbench e alguns clientes de Slack usam o caminho legado.

Para quem opera pipelines de dados, o desenho serve de referência prática: deixar o LLM apontar posições e manter o texto vindo da fonte é um jeito barato de reduzir alucinação. Manter regras determinísticas como piso de regressão e rótulo de avaliação também dá um caminho realista para adotar IA sem perder o que já funcionava. O número de 321% é correlação, então vale ler com cautela.