Consórcio de quatro LLMs alcança 86,2% de concordância unânime na detecção de vulnerabilidades

O estudo atual não é só sobre 'mais LLMs = melhor'. Ele mostra que, em segurança de software, o equilíbrio entre profundidade de raciocínio e granularidade de entrada define o sucesso, não a capacidade bruta do modelo. Quando o LLM recebe toda a função vulnerável (como no modo function), a taxa de detecção sobe para 99,8% em casos como o freebsd-nfs-vuln. Já com o arquivo inteiro (whole_file), cai para 1,7% no openbsd-sack. Isso confirma o que já apontávamos em abril: modelos não estão falhando por falta de raciocínio, mas por saturação de contexto e ruído estrutural, um problema de engenharia de entrada, não de arquitetura.

A concordância unânime de 86,2% do consórcio de quatro LLMs reforça uma tendência observada na cobertura CEVIU desde abril: a combinação de modelos especializados (ex: Claude para CVEs, GPT-5.5-med para cadeias completas) supera qualquer 'modelo único soberano'. E isso tem impacto direto em DX: o custo de $9.200 para 2080 execuções revela que escalar 'raciocínio pesado' em produção é inviável sem filtragem prévia, exatamente o que os harnesses open-weight testados em 6 de junho (como o Claude Code) já resolvem com pré-processamento estruturado e slicing automático de funções.

Em abril, a CEVIU destacou que LLMs de fronteira haviam cruzado um limiar com 'análise de taint neural emergente' e 'raciocínio em tempo de teste'. Agora, em junho, vemos que esse raciocínio não escala linearmente: gpt-5.5-med superou gpt-5.5-high/xhigh em resoluções completas (6 vs. 0 full solves no freebsd-nfs-vuln), e o próprio Claude 4.7-high foi mais eficaz que o xhigh, invertendo a expectativa de que 'mais raciocínio sempre ajuda'. Também mudou a percepção sobre modelos leves: enquanto em abril citávamos avanços em raciocínio estrutural, agora dados empíricos confirmam que GPT-4o-mini e claude-4.6 entregam melhor custo-benefício que modelos maiores, não por serem 'menos inteligentes', mas por evitarem content filtering e overthinking em cenários reais de triagem.

Isso importa porque muda a forma como times de segurança devem integrar IA no fluxo de trabalho. Não basta jogar código no prompt: é preciso segmentar por função, usar harnesses para normalizar entradas (como fez a Mozilla com o Mythos Preview em maio) e adotar consórcios de modelos com papéis definidos, um para identificar padrões, outro para extrair CVEs, outro para validar cadeias. A falha sistemática no openbsd-sack/whole_file mostra que a abordagem 'tudo em um' ainda não funciona. O que funciona é a divisão de responsabilidades técnica, alinhada à experiência do desenvolvedor: menos tokens, menos custo, mais precisão operacional.