Como o Google Acelerou seu LLM Gemma em 3 Vezes

O modelo Gemma do Google alcançou um aumento de três vezes na velocidade de inference através do uso de decodificação especulativa. Esta técnica inovadora envolve um pequeno e rápido 'Drafter' que prevê tokens, permitindo que o modelo principal os verifique em paralelo. Esse método otimiza a utilização da GPU e resulta em economia significativa de memória, elevando a performance do LLM.