跳到正文
Google Research·· 2026-08-12精選AI 評分64

空書架還是遺失的鑰匙?Google Research 指大語言模型參數化事實性的瓶頸在於回憶

Empty shelves or lost keys? Recall is the bottleneck for parametric factuality

AI 導讀

Google Research 提出 knowledge profiling 框架及 WikiProfile 基準,發現前沿大語言模型的事實性錯誤更多源於已編碼事實難以回憶,而非未能編碼。

推薦理由

研究以 WikiProfile 分別測量事實編碼、回憶與識別,將模型事實性錯誤區分為知識缺失或提取失敗,提供比單看答題準確率更細的診斷視角。

正文 · 繁體中文

事實性是大型語言模型(LLM)可靠與否的關鍵。模型答錯事實問題時,究竟是從未編碼該事實,還是雖已編碼、卻無法取用?一般準確度指標會把兩種情況混為一談,但它們代表截然不同的限制,也需要截然不同的幹預方法。編碼失敗意味著應擴大模型規模或增加資料覆蓋範圍;回憶失敗則可能需要透過後訓練及推論時方法,協助 LLM 更善用已經編碼的內容。

在研究「空書架還是遺失的鑰匙?回憶是參數化事實性的瓶頸」中,我們提出知識剖析這套行為分析框架,同時衡量編碼和回憶,並用它探討前沿 LLM(例如 Gemini3 和 GPT-5)事實性背後的瓶頸。我們進一步指出,前沿 LLM 中許多事實錯誤,更適合理解為遺失的鑰匙(回憶失敗),而非空書架(編碼失敗)。

我們借用記憶的概念,把編碼定義為以參數表示事實;把回憶定義為在沒有外部提示下取回已編碼事實;把識別定義為在多個選項中找出正確事實。為支援這項分析,我們推出 WikiProfile 基準測試,包含 2,150 項源自維基百科的事實,每項配有 10 條問題,用以測試編碼、回憶及識別。

核心概念:知識剖析

知識剖析把分析單位由個別問題轉為事實。與其問模型有否答對某個特定問題,我們會問更廣泛的問題:這項事實處於甚麼狀態?我們把每項事實分成五種知識狀態:(1)編碼失敗、(2)回憶失敗、(3)直接回憶、(4)經思考後回憶,以及(5)未經編碼的推理。這些狀態比單看問題層級的準確度,能提供更有用的診斷。

分類依據是事實有否編碼,以及是否容易取用:無法回憶、可直接回憶,或只能經思考後回憶(在得出最終答案前引出中間運算,包括思維鏈提示及經思考能力最佳化的 LLM)。

我們以三個行為概念把這套分類具體化:

  • 編碼:如果模型能在類似預訓練的上下文中正確重述某項事實,即代表模型已編碼該事實。在我們的設定中,我們透過命題補全和上下文提問衡量編碼;這些測試把模型置於類似事實在預訓練期間自然出現的上下文(但不透露答案),藉此啟動模型,檢查事實有否編碼。
  • 知識:如果模型知道一項事實,即能以不同措辭正確回答語義等同的問題,包括直接問題和反向問題。例如,若「A 是 B」,直接問題會問「B 是甚麼?」,反向問題則會問「A 是甚麼?」。
  • 回憶:如果模型知道一項已編碼事實,即代表模型能回憶該事實。不經思考便回憶出來,稱為直接回憶。如果模型知道一項未編碼事實,則稱為未經編碼的推理。這只會在啟用思考時發生,模型會依靠其他已編碼事實進行多跳推理或合理推測。

推出 WikiProfile

為了實際運用知識剖析,我們建立了 WikiProfile,這項基準測試旨在衡量自然出現事實的事實性。WikiProfile 由全自動流程建立,流程以提示式 LLM Gemini-2.5-Pro(啟用思考)驅動。提示詞先在一小部分保留資料上經人手調整。接著,我們從維基百科頁面抽取候選事實:識別由一對有序實體(主體和客體)構成的命題,其中主體先於客體出現在文件中。每項事實配有 10 項任務:兩項測試編碼、四項評估知識,另有四項選擇題版本用於測試識別。

我們透過生成、改寫和篩選三個步驟,產生直接和反向問題,確保每條問題清晰、具體、精簡,並只有一個答案。所有問題都會透過搜尋引擎進行篩選;若出現多個答案或需要澄清,我們便會剔除相關項目。經過自動篩選及最後的人手驗證後,基準測試共包含 2,150 項事實。

如何評估 LLM

我們評估了 13 個 LLM,每個模型都分別在啟用和停用思考時接受評估。對每個模型、事實及任務,我們抽樣 8 個回應,再由提示式 LLM 自動評分器評級(詳情見論文),總共產生約 450 萬個回應。

主要結果:瓶頸在回憶,而非編碼

在前沿 LLM(Gemini-2.5-Pro、Gemini-3-Pro 和 Flash、GPT-5)中,事實編碼已接近飽和,但回憶能力仍有不足。Gemini-3-Pro 和 GPT-5 已編碼 95% 至 98% 的事實,卻仍無法直接回憶 26% 至 34% 的事實。即使啟用思考,仍有 11% 至 12% 的事實無法回憶。這表示前沿模型的事實錯誤愈來愈不是源於缺乏知識,而是已儲存的知識無法可靠取用。換言之,瓶頸正由知識取得轉向知識運用。

擴大模型規模後,這個現象更加明顯。在 Gemma 3 系列中,較大型模型的編碼失敗少得多,但回憶失敗仍相當普遍,並佔剩餘錯誤中更大比例。模型規模擴大對儲存的知識改善較多,對可取用的知識改善較少。

為何回憶會失敗?

結果顯示,回憶能力與學習事實時的條件密切相關。當查詢與模型訓練時遇到事實的上下文、措辭或次序不同,回憶就會更困難。我們指出兩種系統性出現這種情況的例子。

罕見事實已編碼,卻難以回憶

過往研究顯示,LLM 難以掌握長尾(罕見)事實,並經常把問題歸因於模型容量。我們的結果補充了另一個觀點。比較低人氣和高人氣事實後,我們發現罕見事實的編碼率與熱門事實相近。兩者編碼率差距相對有限,但回憶率差距更大。這重新詮釋了長尾問題:許多罕見事實並非不存在於模型參數中,而是已經存在,卻難以取用。瓶頸已由知識取得轉為知識運用。

反向問題可驗證,卻難以回憶

我們亦重新檢視反轉詛咒:LLM 知道「A 是 B」,卻無法回答「B 是甚麼?」乍看之下,這似乎表示 LLM 缺乏雙向知識。但我們的結果進一步修正了這種觀點。在開放式生成(即回憶)中,反向問題一向比直接問題困難;然而在選擇題驗證(即識別)中,反向問題並不比直接問題困難,甚至往往更容易。這種分歧十分重要。如果模型能在幹擾選項中識別正確答案,卻無法在反向查詢中生成答案,問題就不只是缺少雙向知識。相反,事實似乎已經編碼,甚至可被識別,只是當查詢方向與訓練時遇到事實的方向不同,就難以回憶。反轉詛咒其實是回憶問題。

以思考作為恢復機制

接下來,我們探討甚麼能讓原本無法取用的知識重新出現,並檢視思考是否能發揮這種作用。思考最能改善直接回憶最弱之處,對罕見事實及反向問題的提升尤其明顯,縮小了人氣差距和方向性差距。

具體而言,在針對思考最佳化的模型中,思考可恢復約 40% 至 65% 已編碼但無法直接得知的事實。相較之下,它對未編碼事實的幫助小得多。這種模式顯示,思考主要是促進回憶的機制:它協助模型取用已編碼的事實,而非主要透過複雜多步驟推理推導答案。不過,思考並非沒有代價;它會消耗運算資源,而且目前仍不清楚應如何準確判斷何時需要啟用。

重點

知識剖析讓我們能準確診斷 LLM 的事實表現。把這種方法應用於維基百科事實後,結果顯示我們應重新思考前沿 LLM 中的事實錯誤。如果編碼已接近飽和,事實性進一步提升可能較少來自擴大模型規模或資料量。研究亦顯示,思考能恢復相當比例已編碼但無法直接得知的事實;因此,事實性下一步的提升,不只取決於更有效取得知識,也取決於更善用模型已編碼的知識。

來源:Google Research · research.google