VIDRAFT revela otimizações que impulsionaram o Fast Gemma

A VIDRAFT desvendou as táticas por trás da sua submissão no Fast Gemma Challenge, que resultou na certificação de uma das inferências mais rápidas para o modelo Gemma 4 E4B. O foco da competição era claro: maximizar a velocidade de inferência, medida em tokens por segundo (TPS), usando apenas otimizações de software. Tudo isso rodando em uma única placa NVIDIA A10G e, crucialmente, sem comprometer a qualidade da saída, monitorada pelo Perplexity (PPL).

A equipe da VIDRAFT alcançou a marca de 510.58 TPS com um PPL de 2.3930, posicionando-se como a mais veloz entre os resultados verificados que respeitaram o limite de qualidade. Entre as otimizações implementadas, destacam-se o uso de uma janela deslizante (Sliding Window) para otimizar o cache de valores-chave, o ajuste fino de parâmetros de kernel como o CENTROID_TOP_K, e uma ponte de aquecimento sintético (Synthetic Warmup Bridge) para eliminar overheads de compilação. A decodificação especulativa com um drafter de Multi-Token Prediction (MTP) e otimizações de kernel para remover gargalos de lançamento, amostragem e decodificação também foram essenciais. O princípio era simples: aplicar apenas melhorias de velocidade que não afetassem a qualidade.

Em 6 de maio de 2026, o CEVIU News noticiou a aceleração do Gemma 4 através de drafters de Multi-Token Prediction, que prometiam inferência até 3 vezes mais rápida. Em 8 de maio de 2026, detalhamos como o Google alcançou esse salto. A notícia atual, de 4 de agosto de 2026, eleva o patamar: o que antes era um avanço arquitetônico e uma promessa de aceleração, agora é uma realidade concretizada com detalhes técnicos minuciosos.

A VIDRAFT não só demonstrou a eficácia dessas técnicas em um cenário de competição, mas também revelou as configurações exatas e as otimizações de software que levaram o Gemma 4 a um novo pico de performance verificada em hardware limitado. É a passagem da inovação teórica para a aplicação prática e otimizada, com um