Meta Impulsiona Eficiência de Treinamento de Modelos de Anúncios com Novas Técnicas de IA

A Meta conseguiu um salto significativo na eficiência do treinamento de seus modelos de recomendação de anúncios, o Generative Ads Recommendation Model (GEM). Este modelo, base para recomendações no Instagram e Facebook, agora opera em escala de LLM, utilizando milhares de GPUs de última geração. O desafio é que modelos de recomendação têm características únicas, como entradas com comprimentos de sequência variáveis (jagged inputs), parâmetros esparsos e densos, e padrões diversos de interação, que não se encaixam bem nas otimizações padrão para LLMs.

Para superar isso, a engenharia da Meta adotou um co-design entre hardware e software. Eles desenvolveram uma biblioteca personalizada de kernels e usaram treinamento com precisão ultrabaixa, como o MXFP8. Técnicas como Jagged Flash Attention (JFA) eliminam o desperdício de computação em sequências irregulares, e o Generalized Dot-Product Attention (GDPA) acelera módulos de atenção diversos. A comunicação coletiva SM-free e um shuffle de balanceamento de carga também contribuíram para dobrar a eficiência de treinamento (MFU) para 20 a 25%, escalando os FLOPs totais em quatro vezes nos últimos doze meses.

A evolução da Meta em infraestrutura de IA é evidente. Em abril de 2026, a Meta apresentou o Effective Training Time (ETT%), uma métrica para identificar gargalos e ineficiências no processo de treinamento. Agora, este anúncio mostra o resultado prático de abordar esses gargalos: com otimizações como JFA e GDPA, a empresa não só mede, mas ativamente eleva o ETT% e o MFU, dobrando a eficiência de ponta a ponta. Isso representa um avanço concreto da identificação de problemas para a implementação de soluções de engenharia de IA de alto impacto.

Em relação às entregas para anúncios, como destacamos em abril de 2026 com o Adaptive Ranking Model e em julho de 2026 com a representação hierárquica de interesses, este anúncio aprofunda a base. Antes, a Meta mostrava as melhorias em seus modelos de anúncios. Agora, detalha como a infraestrutura que suporta esses modelos foi otimizada para treiná-los com mais rapidez e menor custo computacional. É a evolução da otimização do produto para a otimização da cadeia de valor de IA que o suporta.

Para o ecossistema de dados e engenharia, as inovações da Meta são um blueprint. A empresa mostra como resolver problemas de eficiência em cargas de trabalho de IA que não são puros LLMs, mas sim modelos híbridos complexos, como os de recomendação. A capacidade de quadruplicar a performance e dobrar a eficiência de treinamento para um modelo tão crítico é um testemunho da importância do co-design e da otimização de baixo nível.

Essas técnicas abrem caminho para que outras empresas lidem com seus próprios desafios de escala e heterogeneidade de dados, seja em sistemas de recomendação, busca ou outras aplicações de IA que misturam dados esparsos e densos. Menor custo computacional, treinamentos mais rápidos e modelos mais eficazes são benefícios diretos que impulsionam a inovação e o retorno sobre o investimento em IA.