Goodfire 在 Llama 3.1 8B 第 18 層發現以圓形表徵運作的加法模組

Goodfire 在 Llama 3.1 8B 第 18 層發現一個加法模組，透過多個圓形表徵並行計算不同模數下的和。該模組亦用於一般算術、星期及月份等循環概念的推算，數字以 Fourier features 表示。研究人員操控這些圓形表徵後觀察到月份預測隨輸出改變，作為模組參與月份推算的因果證據；文章指出相關實證仍未完整。