Como o Google acelerou os modelos Gemini Nano no Pixel usando Multi-Token Prediction congelado

O gargalo de inferência em dispositivos móveis não é poder bruto de processamento, é largura de banda de memória. A arquitetura de Multi-Token Prediction (MTP) congelada do Google resolve esse limite eliminando a sobrecarga do modelo rascunho independente usado na decodificação especulativa clássica. A equipe injetou um cabeçalho Transformer leve diretamente sobre as camadas finais do Gemini Nano v3 e treinou apenas esses novos parâmetros para antecipar sequências de tokens. Esse bloco acessa a cache de chave-valor do backbone principal por meio de uma estratégia zero-copy, cortando 130 MB de RAM por instância e zerando a latência de pré-preenchimento do rascunho.

O backbone permanece congelado, garantindo que a otimização funcione apenas como um acelerador de throughput. O sistema valida cada token previsto em paralelo. Se o rascunho errar, o mecanismo retorna ao ponto de divergência. Se acertar, o modelo avança vários passos de uma vez, entregando a mesma saída original sem degradar capacidades ou alinhamento de segurança.

Rodar modelos de linguagem localmente esbarra em orçamentos energéticos rígidos e na competição agressiva por recursos no sistema operacional. A implementação no Pixel 9 e 10 transforma funções cotidianas como resumo de notificações e revisão de texto, entregando ganhos de velocidade superiores a 50% com menor consumo de bateria. A validação em produção confirma que a estratégia de saída tardia aproveita representações ricas já computadas, melhorando a taxa de aceitação de tokens em até 55% para estruturas previsíveis.

Para desenvolvedores, a arquitetura remove a fricção de manter modelos rascunhos separados e pesados para cada caso de uso. A compatibilidade retroativa garante que atualizações de eficiência cheguem direto aos aparelhos sem revalidar o comportamento base. Esse caminho consolida a IA na borda como padrão, equilibrando privacidade de dados, desempenho instantâneo e custos operacionais em hardware de consumo.