Profiling no PyTorch (Parte 2): De nn.Linear para um MLP Fused

O profiling no PyTorch, especialmente com torch.profiler, é a etapa crítica para identificar gargalos reais antes de migrar de nn.Linear padrão para um MLP Fused. Diferentemente de abordagens genéricas, o profiler permite medir não só o tempo total por operador, mas também o tempo 'self' (exclusivo do operador), lançamentos de kernel CUDA, uso de memória GPU/CPU e ociosidade do dispositivo, dados essenciais para justificar a fusão. A transição para MLP Fused não é apenas uma otimização de código: ela combina multiplicação de matrizes (matmul), adição de bias e ativação (ex.: SiLU, GELU) em um único kernel, reduzindo drasticamente acessos à memória global e aumentando a intensidade aritmética. Estudos recentes confirmam que implementações totalmente fusionadas superam o PyTorch padrão em até 19x na inferência em H100 e até 30x em GPUs Intel Data Center Max 1550, conforme demonstrado em março de 2024.

Essa otimização importa porque modelos baseados em nn.Linear, como MLPs em LLMs, recomendação e visão computacional, sofrem com sobrecarga de kernel e baixa utilização da largura de banda da GPU. Cada camada linear seguida de ativação gera múltiplos lançamentos, mesmo quando os dados cabem nos registradores ou cache. O MLP Fused elimina essa ineficiência, tornando-se um pilar para desempenho em produção. Além disso, o PyTorch 2.x introduziu torch.compile (lançado oficialmente em dezembro de 2023), que pode aplicar fusão automática de MLPs horizontais sem alteração manual no código-fonte, uma evolução prática que democratiza o acesso a ganhos de 1,3x a 2x em aceleração típica para redes com alta densidade de nn.Linear.

Para desenvolvedores, o impacto vai além de performance: o processo exige compreensão profunda de profiling com torch.profiler, interpretação de rastros no TensorBoard e conhecimento de trade-offs entre portabilidade e otimização. Implementações customizadas de MLP Fused exigem expertise em CUDA ou SYCL, mas frameworks como Intel Extension for PyTorch (IPEX) e suporte nativo via torch.compile reduzem a curva de aprendizado. Em fevereiro de 2026, artigos continuam validando que fusão + precisão mista automática (AMP) é a combinação mais eficaz para acelerar modelos com nn.Linear, especialmente em tarefas de inferência de baixa latência, onde cada microssegundo conta, e onde o MLP Fused se torna quase obrigatório para sistemas críticos.