SAEs podem capturar a geometria neural?

Autoencoders esparsos (SAEs) podem auxiliar na exploração da geometria neural, representando manifolds curvos por meio de diversos métodos, incluindo "shattering", captura compacta e diluição. O estudo revela que cada característica de um SAE representa apenas parte do manifold completo, exigindo o agrupamento de características para compreender a estrutura geral. Um pipeline não supervisionado que utilize essas descobertas poderia aprimorar nossa compreensão das redes neurais, reconstruindo as estruturas geométricas internas em seus próprios termos.