VibeThinker-3B da Weibo desperta críticas sobre validade de benchmarks em IA

O VibeThinker-3B não é um modelo novo do zero, é um refinamento extremo de um modelo já compacto (Qwen2.5-Coder-3B), treinado com uma pipeline de quatro estágios que prioriza *raciocínio verificável*, não cobertura factual. A inovação real está na disciplina metodológica: descartar amostras fáceis, forçar o modelo a aprender apenas no limite de sua capacidade atual (via MGPO), e recompensar soluções curtas e corretas, não só acertos. Isso explica por que ele domina AIME e LiveCodeBench v6, mas falha em GPQA-Diamond: não é fraqueza, é projeto intencional. A hipótese de 'compressão paramétrica' não é especulação, é uma explicação técnica para algo observado há meses: benchmarks de raciocínio estão se tornando mais sensíveis a técnicas de pós-treinamento do que ao tamanho bruto do modelo.

Isso conecta diretamente com o que a UC Berkeley revelou em abril: benchmarks de agentes são frágeis porque dependem de padrões estatísticos reutilizáveis, não de generalização. O VibeThinker-3B não quebra os benchmarks, ele os explora com precisão cirúrgica, como um engenheiro que entende exatamente onde o teste tem margem de manobra. E isso é possível porque, como mostrou a CEVIU em junho, o desempenho atual já depende menos do modelo e mais do test-time compute, e o VibeThinker-3B usa CLR para amplificar essa alavanca sem aumentar o custo de inferência.

A evolução é clara desde o VibeThinker-1.5B (novembro de 2025): o salto de 1,5B para 3B não foi linear. O custo de pós-treinamento subiu de US$ 7.800 para até US$ 60 mil, mas o ganho foi qualitativo, não só em pontuação, mas em robustez. Enquanto o 1.5B superava o DeepSeek R1 em benchmarks matemáticos antigos, o 3B passa em LeetCode de abril-maio de 2026, data que *não existia* no treinamento. Isso fecha a brecha da crítica mais forte: contaminação. Também mudou a abordagem de RL: o time descobriu que expandir janelas de contexto durante o treinamento, que funcionava no 1.5B, prejudicava o 3B, prova de que a escala muda as regras do otimizador, não só do modelo.

Importa porque mostra que a corrida por parâmetros pode estar escondendo uma oportunidade maior: a especialização tática. Modelos como MiMo Code V0.1.0 (Xiaomi) e SubQ (Subquadratic) já apontavam para eficiência agnóstica de escala. O VibeThinker-3B vai além: ele demonstra que, para tarefas com feedback imediato (matemática, código executável, instruções verificáveis), você pode ter 95% da performance de um modelo de 1 trilhão de parâmetros gastando 0,006% do custo de inferência. Isso não substitui o Claude Fable 5 ou o GPT-5.5, mas define um novo papel para modelos pequenos: co-processadores de raciocínio em tempo real, integráveis em IDEs, CLI ou dispositivos edge, sem depender de nuvem.