Meta mostra como escalou testes gerados por IA para pegar bugs antes do merge

A Meta descreve o Catching JiTTests como um sistema que gera testes executáveis feitos para falhar e mostrar uma diferença concreta de comportamento introduzida por um diff, antes de ele chegar à produção. A empresa contrasta isso com a revisão de código por LLM ou agente, que replica o processo de um revisor humano, só que mais rápido. Segundo a Meta, gerar testes exige mais passos computacionais, mas pega classes de bugs que a revisão por LLM pode deixar passar.

O pipeline tem cinco estágios. Roda de madrugada, em capacidade ociosa, e mira diffs do dia anterior considerados arriscados por um mecanismo parecido com o Diff Risk Score. Depois entram dois fluxos de geração: o "dodgy diff", que trata cada mudança como um mutante e gera testes que a distinguem do código pai, e o "intent-aware", que infere a intenção do diff, descreve riscos e constrói mutantes a partir deles. Os testes que falham no diff real viram "weak catches". Um conjunto de LLMs (LLM-as-Judge) e um avaliador baseado em regras, o RubFake, ranqueiam esses candidatos. A Meta diz que o julgamento dos LLMs é não determinístico e difícil de verificar, enquanto o RubFake é determinístico. O último estágio é o modelo human-on-the-loop: engenheiros definem critérios e revisam resultados de forma agregada, em vez de ler cada saída.

Os números divulgados: 589 engenheiros (64% do alcance) interagiram com o sistema, com taxa de 60% de verdadeiros positivos segundo o relato deles. No primeiro semestre de 2026, o sistema teve papel central em pegar 74 bugs graves de privacidade (SEVs) na etapa de diff, e a empresa associa isso a uma queda de 20% nas SEVs de privacidade no período. O trabalho foi apresentado no FSE 2026.

Em 13 de fevereiro de 2026, o CEVIU noticiou "A Morte dos Testes Tradicionais: Desenvolvimento Agentic Quebrou um Campo de 50 Anos, e JiTTesting Pode Revivê-lo", quando a Meta defendia o JiTTesting como resposta à insuficiência de suítes estáticas. Agora a empresa fala em sistema em produção, com números de engajamento, taxa de acerto e impacto em bugs de privacidade. Em 29 de outubro de 2026, o CEVIU já havia publicado "Meta leva JiTTests à produção e usa LLMs para gerar testes que pegam bugs antes do merge", sobre a mesma divulgação. A matéria desta data detalha a arquitetura e os mecanismos contra falsos positivos.

Para quem opera IA em engenharia de software, o ponto prático é o custo de atenção humana. Uma taxa de 60% de verdadeiros positivos é um dado da própria Meta e relatado pelos engenheiros, então vale tratá-lo como referência, não como benchmark independente. A combinação de juiz probabilístico com regra determinística é um desenho reaproveitável para quem lida com ruído em testes gerados por LLM.