熱點事件持續更新
Goodfire以VPD拆解語言模型參數
2 篇報道1 個報道來源6 小時前更新
先了解這件事
AI 綜述
2026年10月6日，Goodfire Research 報道使用 VPD（Adversarial Parameter Decomposition）拆解一個 67M 參數語言模型的權重矩陣，以研究模型內部的計算結構。研究團隊把網絡全部 24 個矩陣分解為秩一矩陣，共識別約 10,000 個子元件，包括分散於多個注意力頭的算法、可無需訓練直接編輯行為的子元件，以及特定預測所需的子網絡。另一則報道説明，VPD 旨在大量子元件遭消融（包括經對抗性選取的消融）時，仍保留模型的輸入—輸出行為；研究亦追蹤子元件的互動序列，分析它們如何共同產生特定輸入的模型輸出，形成一類新的「電路」分析。
AI 根據報道生成 · 5 小時前更新
最新進展10月6日 10:47
最新報道介紹，VPD 亦追蹤子元件的互動序列，分析它們如何共同產生特定輸入的模型輸出。報道時間線
沿着報道，瞭解事件的不同側面。
10月6日
- Goodfire Research解讀語言模型參數
這項研究提出 adVersarial Parameter Decomposition（VPD），把語言模型參數拆成小型子元件，以分析模型如何計算輸出。VPD 旨在大量子元件遭消融（包括經對抗性選取的消融）時，仍保留模型的輸入—輸出行為。研究亦追蹤參數子元件的互動序列，分析它們如何共同產生特定輸入的模型輸出，形成新一類「電路」分析。
- Goodfire Research論文摘要：Goodfire Research 以 VPD 解讀語言模型參數
Goodfire Research 使用 VPD（Adversarial Parameter Decomposition）拆解一個 67M 參數語言模型的權重矩陣，以研究模型參數中的計算結構。這項方法把參數分解為秩一矩陣，並識別出分散於多個注意力頭的算法、可無需訓練直接編輯行為的子元件，以及特定預測所需的子網絡。研究團隊分解網絡全部 24 個矩陣，共識別約 10,000 個子元件。
本事件熱度走勢
還沒有足夠的連續觀測數據，暫不繪製趨勢。