Otimizando Sistemas de Recomendação com a Vector API do JDK

A Netflix reduziu a utilização da CPU de seu serviço Ranker, especificamente na funcionalidade de scoring de serendipity, de 7,5% para aproximadamente 1% por nó , através da reengenharia de sua lógica de scoring. As otimizações cruciais incluíram a transição de produtos escalares de complexidade O(M×N) para multiplicações de matrizes em lote, otimizadas para cache com flat buffers, e o aproveitamento da JDK Vector API para ganhos de performance SIMD em Java puro, além da eliminação de alocações desnecessárias. Essas melhorias resultaram em uma queda de 7% no uso da CPU, uma redução de 12% na latência e um aprimoramento de 10% na relação CPU/RPS .