稀疏自編碼器（SAE）能否捕捉神經幾何結構？

稀疏自編碼器（SAE）可用「碎裂」、「緊湊捕捉」和「稀釋」三種方式表徵神經表徵中的流形，但單一特徵只能呈現局部結構。研究者建立無監督流程，按 SAE 特徵觸發模式的統計依賴進行聚類，以發掘整體幾何結構。這套流程在 Llama 3.1 8B 中找到多種流形，而實際神經網絡表徵主要呈現「稀釋」模式。