Goodfire 發現 Llama 圓形加法模組

2026 年 10 月 6 日，Goodfire Research 報告在 Llama 3.1 8B 第 18 層發現一個加法模組。模組透過多個圓形表徵，並行計算不同模數下的和；報道指出，這些表徵亦用於一般算術，以及星期、月份等循環概念的推算，數字則以 Fourier features 表示。研究人員操控這些圓形表徵後，觀察到月份預測輸出隨之改變，並將此視為該模組參與月份推算的因果證據。報道同時指出，相關實證仍未完整；目前披露的結果包括模組的計算方式、涉及的推算範圍，以及對月份預測的幹預觀察。

AI 根據報道生成 · 5 小時前更新

還沒有足夠的連續觀測數據，暫不繪製趨勢。