DFlash e Spec V2 revolucionam a speculative decoding com ganhos de throughput expressivos

O DFlash não é só mais um drafter: é uma mudança de paradigma na decodificação especulativa. Enquanto EAGLE-3 e MTP nativos (como os do Gemma 4) ainda geram rascunhos sequencialmente, mesmo que no modelo menor , , o DFlash usa difusão em bloco para produzir 16 tokens de uma vez, com um único forward pass. Isso elimina o gargalo de latência intrínseco à autoregressão no draft, tornando o processo verdadeiramente hardware-friendly em B200s e TPUs.

A injeção de KV do modelo alvo no drafter é o segundo salto técnico. Diferente de métodos anteriores que usam features do alvo só na entrada do drafter (como o Medusa ou EAGLE), o DFlash injeta representações ocultas diretamente nos caches KV de cada camada do modelo rascunho. Isso mantém a condição forte ao longo da geração, e explica por que aceitação média sobe mesmo com drafters mais profundos. Não é só mais rápido: é mais preciso por design, sem trade-off entre speed e quality.

Em maio, a cobertura CEVIU tratava de MTP como o estado da arte, com acelerações de até 3x no Gemma 4 e ganhos de 1.8x em rollouts de RL. Agora, em junho, o DFlash + Spec V2 entrega >4.3x no Qwen 3.5 397B-A17B, superando até essa nova geração de MTP nativa. O que era rumor sobre 'injeção de contexto' virou código concreto no SGLang V2; o que era benchmark teórico em GPU A100 virou produção real em B200 com 8 TB/s de largura de banda HBM3e. E o Xiaomi MiMo v2.5-Pro-UltraSpeed já está usando isso em escala: 1.200 tps em modelo de 1T de parâmetros, algo impensável com MTP puro.

Isso não é otimização incremental. É a primeira vez que uma técnica de speculative decoding atinge eficiência próxima ao limite físico de hardware moderno: aproveita plenamente o throughput FP4 do B200 (9.000 TFLOPS) e reduz sincronizações host-device ao mínimo viável. Para operadores de LLMs, significa cortar custos de inferência em até 60% em workloads de baixa latência, como agentes interativos ou APIs de tempo real. Para desenvolvedores de modelos, abre espaço para usar arquiteturas maiores (como o Qwen 3.5 com 262k de contexto) sem pagar o preço usual em throughput. A barreira não é mais o modelo, mas a infraestrutura, e agora ela está sendo quebrada.