Mythos passa no teste de segurança?

Mythos continua sendo referência em detecção de vulnerabilidades complexas, mas o benchmark construído por Joe Swell mostra que modelos públicos, especialmente Qwen 3.6, MiMo e DeepSeek, conseguem chegar perto, e em alguns casos igualar, seu desempenho com custos muito menores. O teste usou nove bugs reais, confirmados e ainda não presentes no treinamento dos modelos, analisados sem pistas diretas, apenas o código-fonte completo. A surpresa foi a eficiência de modelos chineses de baixo custo, que encontraram até quatro vulnerabilidades cada um, superando modelos comerciais como Sonnet e Gemini 3.1 Pro. Ainda assim, Mythos identificou quatro bugs que nenhum outro modelo conseguiu, sugerindo que sua arquitetura, ferramentas internas ou fluxo de análise têm vantagens não replicáveis por prompts simples.

O experimento também expôs falhas críticas em modelos que recusam tarefas de segurança por políticas de contenção, como o Gemini com agy, e inconsistências de desempenho entre versões de um mesmo modelo, como o Nemotron, onde a versão menor superou a maior. Isso aponta para um problema mais profundo: a eficácia em segurança não segue linearmente com o tamanho do modelo. A performance depende de como o modelo processa contexto distribuído, entende dependências entre arquivos e evita falsos positivos, competências que ainda não são bem compreendidas nem otimizadas por fornecedores.

Para equipes de segurança e desenvolvimento, esse teste desmonta o mito de que só ferramentas caras e fechadas conseguem encontrar bugs críticos. Se Qwen 3.6 ou DeepSeek conseguem igualar Mythos com custo 10x menor, isso muda o cálculo de investimento em segurança. Empresas que dependem de modelos de código aberto ou auto-hospedados agora têm evidência concreta de que podem substituir soluções comerciais caras sem perder eficácia. Mas o alerta é: a confiabilidade ainda exige validação manual. Modelos como Gemma 4 MoE encontram bugs, mas ficam presos em loops, gastando tempo e recursos. A segurança não é uma tarefa de inferência isolada, é um processo iterativo, e a IA ainda é um assistente, não um substituto. O próximo passo é integrar esses modelos em pipelines de CI/CD com feedback contínuo, não apenas em benchmarks isolados.