解讀語言模型參數

這項研究提出 adVersarial Parameter Decomposition（VPD），把語言模型參數拆成小型子元件，以分析模型如何計算輸出。VPD 旨在大量子元件遭消融（包括經對抗性選取的消融）時，仍保留模型的輸入—輸出行為。研究亦追蹤參數子元件的互動序列，分析它們如何共同產生特定輸入的模型輸出，形成新一類「電路」分析。