E-means, da Meta FAIR, reduz perda de clustering em até um décimo das épocas do k-means

O e-means troca o ciclo clássico do k-means de Lloyd, que reprocessa o dataset inteiro a cada iteração, por atualizações em mini-batch com média móvel exponencial (EMA) dos centroides. Segundo o paper, o método usa a maquinaria de deep learning moderna e novos insights de otimização.

Os autores também estabelecem leis de escala sobre como a taxa de decaimento e o tamanho do batch afetam o desempenho final. Isso gera uma regra fechada para fixar os dois parâmetros em vários tamanhos de problema e datasets de embeddings, sem varredura de hiperparâmetros. Em uma ampla seleção de embeddings, o e-means bate a perda do k-means de Lloyd com 25 épocas em 1,4 a 2,6 épocas, o que equivale a ganhos de 10 a 45 vezes em tempo de relógio na GPU, comparado a implementações de k-means no estado da arte. O texto diz ainda que ele converge a perdas menores e frequentemente supera até o k-means++. Como exemplo, particionou o DINO10B (10 bilhões de embeddings DINO) em 16 milhões de clusters em apenas 2,5 épocas, com perda abaixo da de Lloyd em 25.

Para quem opera pipelines de recuperação, quantização ou curadoria de dados com embeddings, o ponto prático é a regra para decaimento e batch size. Se ela se sustentar fora do paper, elimina uma etapa de tuning que costuma consumir tempo de GPU. A leitura é editorial: os números vêm dos benchmarks dos próprios autores e valem ser reproduzidos nos seus dados antes de trocar o clustering em produção.