Amazon apresenta HOPE, método que poda experts de modelos MoE considerando interações entre eles

O problema que o HOPE ataca é de memória. Em modelos MoE, todos os experts MLP ficam residentes durante a inference, embora só alguns sejam usados por token. No Qwen3.5-122B são 256 experts em cada uma das 48 camadas MoE, e cerca de 95% dos ~250 GB de parâmetros estão nesses experts. Por token, só 8 por camada trabalham.

Os métodos atuais, como REAP, MAN, EAN e Frequency, são de primeira ordem: dão uma nota por expert, a partir de um calibration dataset, e cortam os piores camada a camada. O HOPE minimiza um limite superior do erro de poda e, ao expandir esse termo, aparecem produtos entre pares de experts. Isso vira um programa quadrático binário, resolvido com relaxação contínua e arredondamento, a partir de uma matriz F coletada em uma única passada de calibração. A diagonal de F recupera o ranking do REAP (Spearman 0,988), então o ganho sobre ele vem dos termos fora da diagonal. O solver leva de 1 a 2 segundos por camada.

Nos testes, com Qwen3.5-122B, Qwen3.5-35B e GLM-4.5-Air, o HOPE teve rank médio de 2,07 entre 5 métodos e, com 50% de poda, 1,58 contra 2,42 do REAP. No Qwen3.5-35B-A3B com 50% de poda, fez 42,3 no SWE-Bench Pro (modelo sem poda: 41,8), enquanto o REAP caiu para 36,2. Os autores admitem limites: com 10% a 20% de poda, REAP e MAN às vezes empatam; a poda é por camada, sem interação entre camadas; e interações de ordem maior (trios) são caras de estimar. O pacote foi testado em Qwen3, Qwen3-Next, Qwen3.5 e GLM-4.5, e gera um checkpoint padrão do HuggingFace, sem mudar vLLM ou SGLang.

Para quem opera MoE em produção, o ganho está no ponto de 50% de poda, onde a memória liberada abre espaço para contexto maior e mais chamadas de ferramenta. Como o resultado vem de benchmarks dos próprios autores e de três modelos, vale validar com seu workload e seu calibration set antes de adotar. O custo extra de calibração é pequeno, o que facilita o teste.