Meta leva JiTTests à produção e usa LLMs para gerar testes que pegam bugs antes do merge

A diferença central dos Catching JiTTests está no que sai do pipeline. Em vez de um comentário de revisão, o sistema entrega um teste executável que falha no diff e mostra uma mudança concreta de comportamento. Custa mais etapas de computação, mas, segundo a Meta, pega classes de bugs que revisão por LLM ou por agente pode deixar passar.

O fluxo tem cinco etapas. Roda de madrugada, em capacidade ociosa, sobre diffs do dia anterior considerados de risco por um mecanismo parecido com o Diff Risk Score. Depois entram dois workflows de geração (intent-aware e dodgy diff), que produzem os weak catches. Para separar falso positivo de bug real, a Meta combina o ensemble LLM-as-Judge, que a empresa descreve como semântico mas não determinístico e difícil de verificar, com o RubFake, assessor baseado em regras que dá julgamentos determinísticos e verificados. Só o ranking combinado decide se um engenheiro será acionado, no modelo human-on-the-loop: pessoas definem critérios e revisam resultados de forma agregada. Os números: 589 engenheiros engajados (64% do alcance), 60% de true positives reportados e 74 bugs sérios de privacidade (SEVs) pegos no diff na primeira metade de 2026, com queda de 20% nas SEVs de privacidade no período.

Em 13 de fevereiro de 2026, o CEVIU noticiou "A Morte dos Testes Tradicionais: Desenvolvimento Agentic Quebrou um Campo de 50 Anos, e JiTTesting Pode Revivê-lo", quando a Meta ainda apresentava o JiTTesting como possibilidade diante de suítes estáticas que não acompanham o ritmo do código. Agora a empresa diz que a abordagem saiu do protótipo de pesquisa e faz parte da infraestrutura, com números de engajamento e de bugs de privacidade interceptados. Em 2 de setembro de 2026, o CEVIU também havia publicado "Meta adota Testes Agentic e revoluciona desenvolvimento com IA", sobre a mesma linha de testes com agentes.

Para quem opera pipelines de CI, a leitura é que o gargalo deixa de ser escrever teste e passa a ser triar sinal. O desenho da Meta (rodar em capacidade ociosa, filtrar por risco e só chamar humano após ranking) é um modelo de como encaixar geração de testes por IA sem travar o merge nem estourar custo de computação. Os números vêm da própria Meta, então vale medir a taxa de falso positivo no seu contexto antes de copiar a ideia.