Meta fair apresenta e-means, um algoritmo de agrupamento que supera o k-means com significativamente menos iterações

Pesquisadores da Meta FAIR apresentaram o e-means, um novo algoritmo de agrupamento projetado como uma substituição direta para o k-means de Lloyd. Este método alcança a mesma perda que o k-means de Lloyd após 25 épocas, utilizando apenas entre 1,4 e 2,6 épocas. A implementação está disponível na versão 1.16.0 do FAISS, em faiss.contrib.e_means, visando o passo de agrupamento offline, frequentemente lento, em indexação e pipelines de dados de vetores. e-means opera como uma variante mini-batch do k-means, atualizando os centróides dos clusters utilizando médias móveis exponenciais. Os testes revelaram ganhos de desempenho significativos: um único passo de e-means processando 512 pontos levou apenas 0,001 segundos, em comparação com 0,176 segundos para um passo de Lloyd que atingia 100.000 pontos. Além disso, o e-means demonstrou superior estabilidade, permanecendo em 0% dos inícios em um exemplo de teste de 5 blobs, enquanto o Lloyd ficou preso em 46%. Resultados adicionais destacam a robustez do e-means. Ao lidar com grandes números de clusters, como 16.384 no conjunto de dados DEEP, o mecanismo de revivificação do e-means impediu que 0,3% dos clusters desaparecessem, em contraste com 26,3% que desapareceram quando o revivificação foi desativado. Os autores também notaram que o gradiente descendente simples apresentou um desempenho inferior ao EMA, terminando 1,6% (DEEP) e 0,4% (SIFT) acima do EMA em sua melhor configuração.