Dimensionando Sistemas de Recomendação com Deduplicação em Nível de Requisição

A equipe de Engenharia do Pinterest introduziu a deduplicação em nível de requisição para escalar eficientemente seus sistemas de recomendação. A estratégia envolve a ordenação de dados por usuário + ID da requisição no Apache Iceberg, permitindo uma compressão massiva para processar e armazenar os dados em nível de requisição apenas uma vez por requisição única. Adicionalmente, eles utilizam um transformer de contexto separado com KV caching no estágio de ranking e aplicam correções direcionadas, como SyncBatchNorm e mascaramento em nível de usuário, durante o treinamento dos modelos.