Goodfire 在 Llama 3.1 8B 第 18 層發現以圓形表徵運作的加法模組
Goodfire 在 Llama 3.1 8B 第 18 層發現一個加法模組,透過多個圓形表徵並行計算不同模數下的和。該模組亦用於一般算術、星期及月份等循環概念的推算,數字以 Fourier features 表示。研究人員操控這些圓形表徵後觀察到月份預測隨輸出改變,作為模組參與月份推算的因果證據;文章指出相關實證仍未完整。
Goodfire 在 Llama 3.1 8B 第 18 層發現一個加法模組,透過多個圓形表徵並行計算不同模數下的和。該模組亦用於一般算術、星期及月份等循環概念的推算,數字以 Fourier features 表示。研究人員操控這些圓形表徵後觀察到月份預測隨輸出改變,作為模組參與月份推算的因果證據;文章指出相關實證仍未完整。
Meta AI 公佈 Brain2Qwerty v2 研究,展示以非侵入式腦訊號即時解碼句子的端到端流程,詞準確率達 61%,高於文中所述其他非侵入式方法的 8%。
Hugging Face 推出 Gaia2 智能體基準及 Meta Agents Research Environments(ARE)框架,用於在更複雜、接近真實情境的環境中執行、除錯和評估智能體。
推薦理由:Gaia2 將智能體評測從唯讀檢索擴展至含模糊指令、時間要求和環境故障的互動任務,ARE 記錄執行 traces,便於分析智能體在複雜情境中的失誤。