熱點事件持續更新
不同隨機初始化的 SAE 特徵重疊有限
1 篇報道1 個報道來源1 小時前更新
先了解這件事
AI 綜述
2026年10月30日，EleutherAI 發表一項關於稀疏自編碼器（SAE）的研究，探討以相同數據訓練的 SAE 是否會學到相同特徵。研究比較兩個 TopK SAE：兩者使用相同訓練數據和批次次序，但採用不同隨機初始化。結果顯示，兩個 SAE 只有約 53% 的特徵共享；這是相同數據和批次次序下，不同隨機初始化的模型之間觀察到的共享比例。研究亦發現，SAE 越窄，不同隨機種子下的特徵重疊越高；隨着 SAE 規模增加，特徵重疊則會下降。
AI 根據報道生成 · 1 小時前更新
最新進展10月30日 17:28
研究發現，兩個不同隨機初始化的 TopK SAE 僅共享約 53% 特徵，且重疊程度隨 SAE 寬度及規模變化。報道時間線
沿着報道，瞭解事件的不同側面。
10月30日
- EleutherAI：Blog使用相同數據訓練的 SAE 不會學到相同特徵
兩個使用相同數據和批次次序、但以不同隨機初始化訓練的 TopK 稀疏自編碼器（SAE），只有約 53% 的特徵共享。研究亦發現，SAE 越窄，跨隨機種子的特徵重疊越高；隨着 SAE 規模增加，重疊則會下降。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。