Acelerando Gemma 4: inferência mais rápida com drafters de predição multi-token

Os modelos Gemma 4 reduzem gargalos de latência e melhoram a responsividade para desenvolvedores com o uso de drafters de Predição Multi-Token. Esses drafters proporcionam uma aceleração de até 3x sem degradação na qualidade da saída ou na lógica de raciocínio, graças a uma arquitetura especializada de speculative decoding. O speculative decoding desvincula a geração de tokens da verificação, utilizando compute ocioso para 'prever' vários tokens futuros simultaneamente com o drafter, em menos tempo do que o modelo-alvo leva para processar apenas um token. O modelo-alvo então verifica todos esses tokens sugeridos em paralelo.