Novas heurísticas do Helion otimizam desempenho de kernels em tempo de compilação no PyTorch

O PyTorch implementou novas heurísticas em tempo de compilação para os kernels do Helion, sua DSL (Domain-Specific Language) para kernels de machine learning de alta performance. Essas heurísticas visam otimizar o desempenho sem a necessidade do processo de autotuning, que pode ser demorado e consumir muitos recursos. A otimização ocorre por meio da análise do IR (Intermediate Representation) e do fluxo de dados do kernel durante a compilação, classificando-o como matmul, redução ou pointwise para aplicar configurações específicas de blocos, warps e estágios. O sistema é projetado para ser genérico e aplicável a kernels customizados pelos usuários.

A nova abordagem reduz significativamente o tempo de otimização, que antes podia levar dezenas de horas para um único kernel. Por exemplo, em testes com variantes de atenção linear, a configuração calculada superou o Triton escrito à mão do Flash Linear Attention (FLA) em 1.18x no forward pass. Em kernels de redução do vLLM, a otimização foi 1.27x mais rápida que os operadores CUDA/C++ do próprio vLLM. O custo computacional da análise heurística é negligível, medido em dezenas de milissegundos, impactando minimamente o tempo total de compilação. Essas heurísticas também podem servir como sementes para o autotuner, acelerando o processo quando ele é ativado.

A introdução de heurísticas de tempo de compilação no Helion do PyTorch representa uma mudança na forma como a otimização de kernels é abordada. Anteriormente, a otimização dependia fortemente de autotuning, um processo que o CEVIU já abordou em 27 de maio de 2026, com a notícia “Extraia Mais Desempenho de Kernel com o Auto-Tuning do NVIDIA CompileIQ”. Essa matéria detalhava como o CompileIQ da NVIDIA usava algoritmos evolucionários orientados por IA para otimizar configurações de compiladores de GPU. Agora, o PyTorch busca uma alternativa ao autotuning demorado, entregando desempenho próximo ao otimizado, sem o custo de tempo e recursos do processo de autoajuste.

Para desenvolvedores e engenheiros de ML que operam com modelos grandes e pipelines complexos, esta novidade significa uma aceleração substancial no ciclo de desenvolvimento e inferência. A capacidade de obter desempenho otimizado sem gastar horas ou até dias em autotuning remove um gargalo significativo, especialmente em ambientes de produção onde o tempo de compilação é crítico. A melhoria no desempenho de kernels em bibliotecas como o vLLM, um motor de inferência de LLMs amplamente usado, impacta diretamente a eficiência e o custo operacional de servir modelos de linguagem grandes.

Além disso, a flexibilidade de aplicar essas heurísticas a kernels customizados permite que pesquisadores e engenheiros explorem novas arquiteturas e operações sem a penalidade de desempenho que o autotuning manual ou extensivo impunha. Isso pode democratizar o acesso a otimizações de alto nível, tornando o desenvolvimento de sistemas de IA mais ágil e eficiente.

Repositório oficial: vllm-project/vllm