LLM 文本私隱與匿名化方法綜述
這項綜述梳理 LLM 文本私隱與匿名化方法的演進,指出研究已由靜態移除個人可識別資訊(PII),轉向兼顧語義效用、任務需求與合規性的動態決策。文中整理語義重寫、局部差分私隱、基準評估及代理私隱對齊等路線,並比較各自在表示質素、適應效率與計算成本上的取捨。
這項綜述梳理 LLM 文本私隱與匿名化方法的演進,指出研究已由靜態移除個人可識別資訊(PII),轉向兼顧語義效用、任務需求與合規性的動態決策。文中整理語義重寫、局部差分私隱、基準評估及代理私隱對齊等路線,並比較各自在表示質素、適應效率與計算成本上的取捨。
ECA 為搜尋增強語言模型提出循證信用分配方法,以檢索文件對參考答案似然的提升作為僅用於訓練的輔助訊號。
DeepStress 對檢索來源施加合成退化後發現,受測智能體即使取得可信度為 0 % 的文件,仍常給出確定答案。在 HotpotQA 和 BrowseComp-Plus 測試中,Search-R1 的正確率在不同可信度下維持 78 % 至 80 %,棄答率沒有明顯變化。
GPBam 是涵蓋德國公法考試案例及法條的基準測試,聯合評估法律檢索與長篇法律意見生成。研究評估了 32 個開放權重及專有模型;不使用檢索時,得分介乎 4.81 至 76.42 分(滿分 100 分),加入檢索最多提升 4.1 分。法條原文回憶表現與法律意見品質高度相關,在 32 個模型中相關係數為 ρ=0.92。
未來醫生 MedGPT 在一項以 40 宗複雜肺癌病例進行的研究中,平均得分 85.29,高於 250 名三甲醫生無輔助時的 53.26。在與醫生無輔助提交的 750 份診療方案一對一比較中,MedGPT 有 660 次獲較高評分,結果為 88:12;底層模型直接回答時,得分下降近 24 分,移除多學科會診模組則下降 16 分。
在 RAGTruth 的 900 條測試回應中,詞彙重疊檢查偵測 RAG 幻覺的 AUROC 為 0.778,高於 DeBERTa NLI 模型的 0.716。詞彙檢查在全部 2,700 條測試回應中的 AUROC 為 0.785,而集成檢測器整體表現未勝過單獨使用詞彙檢查。作者建議把廉價檢測器用作分流訊號,而非封鎖答案的門檻。
Memorilla 是一套供凍結式 LLM 使用的記憶系統,將整個文件集中的資訊整理成固定數量、依查詢而定的記憶 token。使用 16 個記憶 token 時,它在八項基準測試中的五項勝過 Mem0 和 MemoRAG;在 FactKG 上準確率達 84.33%,高於完整上下文推理的 80.43%,而表示來源文件所需的 token 少 108 倍。
KG-RAG4SM 透過從外部知識圖譜檢索相關子圖,改善 Schema Matching,並在無需重新訓練的情況下減少大語言模型幻覺。
SkinMind 是多模態智能體 RAG 框架,透過反覆探索大型皮膚科知識圖譜,蒐集文字及圖像證據,回答皮膚科視覺問題時比直接作答及其他檢索方法更準確。SkinMind-KG 整合皮膚科指引、教科書及 423K 張圖像,包含超過 1.0M 個節點和 2.0M 條邊。
Apple 研究人員在 ICML 2026 發表 Amortizing Maximum Inner Product Search with Learned Support Functions,透過離線訓練的小型神經網絡,為固定的 key 數據庫學習查詢路由,以加快並提升 MIPS 檢索準確度。
該研究衡量離線 RAG 簽署知識包的文字與向量完整性差距,並比較向量重算、壓縮索引審核及量化碼驗證方法。理想化浮點噪聲級容差仍令最多 5.5% 查詢暴露;在包含 57,638 份文件的 FAISS 乘積量化索引中,通過審核的篡改向量可令攻擊者文件在 25% 目標中排首位。改為驗證量化碼並加入校準保護區及規範化後,三個平台的樣本中所有誠實向量均獲接受。
Metal America 測試六款大語言模型回答 387 個真實建築問題的表現,比較模型單獨作答與檢索相關資料後的結果。在六款模型均完成的 199 題中,平均正確率由約 19% 升至約 90%;只有兩款模型回答了全部 387 題。檢索後仍出現的錯誤主要與內部文件互相矛盾有關,尤其是融資規則。
一個混合檢索 RAG 管線在三種檢索後端接受中毒語料及無法回答問題測試,植入主張在 80.6% 的攻擊測試中進入答案,無法回答的問題則有 83.3% 被編造答案。良性測試的完成率為 90%,沒有錯誤拒答;SQuAD 格式測試中,20 題有 19–20 題包含標準答案片段,平均 token F1 為 0.20–0.21。
HERIT 利用結合檢索增強生成(RAG)的領域適配流程,從大量漢字—韓語語料生成偽標註數據,減輕時間偏差並提升不同歷史時期的翻譯準確度。模型亦翻譯了檔案中此前未有譯文的部分,讓全球研究人員能夠取用相關史料。
TRIO 是一套多智能體 RAG 框架,協調 Query Agent、Judge Agent 和 Answer Agent,分別優化檢索、證據評估和答案推理。它在五個問答基準中取得最高平均 Exact Match,並在未見過的 PubMedQA 上達到 76.6% 準確率。使用 4B 和 8B 模型時亦表現出色。
一個用於回答股市查詢的 RAG 系統,在 100 條股市相關查詢的數據集上測試,ROUGE-1、ROUGE-2 和 ROUGE-L 均取得高分。系統平均回應時間為 1.16 秒,研究以此評估回應速度。
EleutherAI 的 Deep Ignorance 研究發現,預訓練數據過濾可令 6.9B 模型在 WMDP-Bio 接近隨機水平,同時大致保留無關知識基準的表現。過濾模型即使以 300M tokens 專家標註的生物風險論文微調,WMDP 表現仍低於未過濾基線。但在提供論文摘要作上下文的開卷測試中,過濾模型表現接近基線,顯示數據過濾不能阻止模型利用上下文中的相關資訊。
Glance 將生成與重排序整合至同一個 9B backbone,透過共享預填上下文及輕量適配器和 pointer head 為候選段落評分。經 39 分鐘 MS MARCO 微調後,Glance 在 SciFact 和 NFCorpus 的 nDCG@10 分別為 0.741 和 0.345,高於 bge-reranker-v2-m3 的 0.721 和 0.326。
DeFT-RAG 透過逐步生成自包含子問題、以規則更新和輕量決策模型處理部分工作,以及快取和重用答案,改善多跳問答。在 MuSiQue、2WikiMultiHopQA 和 HotpotQA 上,使用 gpt-4o-mini 和 Qwen3.6 作為基礎模型時,其準確率均勝過 13 個基準方法,輸入 LLM 的 token 數亦少於其他迭代式方法。
LangChain 在 111 份合成保險文件上測試 OpenWiki,跨文件問題的答案準確度約為單靠搜尋的 5 倍。加入證據圖譜後,準確度再升 27%、引文一致性倍增,中位回答時間減少 40%,每個正確答案的成本降低 58%。圖譜沿用現有引文和文件參照建立,毋須額外模型呼叫;簡單查詢則未見準確度提升,搜尋速度更快。
一項比較 11 種 Agent 記憶系統與簡單 RAG 的研究發現,多數專用記憶系統在三個基準測試中的表現不及直接檢索原始歷史紀錄。在 LongMemEval-s 上使用 Qwen3.6-27B 時,兩輪簡單 RAG 得分為 81.4%,A-Mem 為 79.4%,MemOS 為 76.6%,SimpleMem 為 73.6%。
UC Berkeley 的 Sky Computing Lab 建立開源向量索引 LEANN,將 60M 個 chunk 的 Wikipedia 索引由 201 GB 縮至 6 GB,方法是在查詢時重算嵌入向量。
研究顯示,決策模型能以較低成本和延遲分類 RAG 中的來源衝突,準確度可媲美前沿 LLM。CONFLICTS benchmark 上,11 個模型有 10 個的準確度達到或超過 Gemini 2.5 Flash 的 61.3%,成本低 4–39 倍、延遲低 2.6–6.0 倍。
JJ657 對 Dify RAG 流水線進行負載基準測試,發現重排提示詞可令每次查詢成本較無快取基線下降 51%。測試中快取命中率由 25.7% 升至 74.3%;30 個以上並發用戶時,Postgres 向量搜尋成為瓶頸。將 pgvector IVFFlat 的 lists 調至 500 並加入 pgbouncer 後,40 個並發用戶的 p95 延遲由 5.3s 降至 2.1s。
臨牀 AI 團隊指出,RAG 檢索評分不只反映檢索器質素,也受相關證據的標註覆蓋率影響,並提出區分標註覆蓋率與系統質素的評估方案。測試中,18 個查詢的證據跨度由 25 增至 37、chunk 目標由 36 增至 51,檢索結果不變,Recall@3 維持 0.94。團隊建議追蹤標註覆蓋率,並分辨檢索失敗、標註缺口與語料證據不足。
作者以 gpt-4o-mini 比較 OpenAI Agents SDK、LangGraph 與單次 RAG,發現 SDK 預設設定確有引用格式漂移,亦有較小的實際引用流失。
這項研究透過多項基準測試和不同模型骨幹的大規模評估,發現不少專用記憶系統在許多情況下不及直接從原始歷史檢索的簡單 RAG,呈現負淨價值。研究以 RAG 為參照,把記憶的淨價值拆分為「記憶收益」與「記憶税」;記憶處理可能移除或遮蔽證據,造成記憶税。作者表示將向社羣開源程式碼和結果,並希望這個概念能引導更可靠的記憶設計與評估。
研究提出 C0-C4 連線狀態框架及推理時信任機制分類,並在 Raspberry Pi 5 上評估本地檢索增強生成,測試三種 Qwen2.5 模型規模。檢索分數閘門識別知識缺口的 AUROC 為 0.97,但對主題內無法回答的問題表現較差,AUROC 為 0.68。有效簽署的污染知識包仍可通過所有檢查,令 30 條原本答對的問題全數答錯,當中 14 條返回注入答案;所測機制均不能確立證據真偽。
Deep Fusion Memory(DFM)架構令 13B 參數 LLM 的開放領域問答準確度提升 12%,每個 token 只增加 0.7 ms 延遲。DFM 將分塊參數記憶嵌入模型權重空間,並在推理時動態檢索相關內容、於多層融合。記憶庫可透過增量插入更新知識,無須重新訓練整個模型。
研究發現,在多項對話記憶基準測試中,直接檢索原始對話歷史的 Raw-RAG 整體表現勝過複雜的智能體記憶系統。Raw-RAG 在七種基準測試與模型設定中的六種排名第一,較最強的受測智能體記憶系統高 0.13–5.53 分。結果顯示,保留原始證據有助提升必要資訊的覆蓋率,樸素 RAG 是評估對話記憶系統的重要基線。
LASAGNA 研究以開源框架評估不同規模的 RAG 流程,發現單項技術的收益未必能預測組合後的檢索品質、答案忠實度或大語料表現。研究測試 8 個基準上的 450 種配置,涵蓋 5K 至 200K 份文件;三種檢索技術預計組合提升 +47%,實際合用僅提升 +17%。研究亦發現,提升檢索品質與答案忠實度可能需要不同組合,且最佳組合會隨語料規模改變。
Chroma Research 評估在嵌入向量上套用線性轉換,以提升檢索準確度的做法。只調整查詢嵌入向量,使用最少 1,500 組已標註的查詢與文件配對,檢索準確度較單獨使用預訓練嵌入模型最高提升 70%。從未標註為相關的文件中隨機抽取負面例子已足以達成改善,有助降低標註成本。
Chroma Research 提出以 token 為單位評估 AI 檢索表現的方法,並用生成及篩選所得的查詢與相關摘錄,按 precision、recall 和 intersection-over-union 衡量檢索結果。
Chroma Research 提出一套生成式基準測試方法,先篩選與用戶情境相關的文件,再根據情境和範例查詢生成測試查詢,以評估檢索系統。研究在 9 個公開數據集及 Weights and Biases 的 WandBot 生產資料上測試,生成查詢大致保留嵌入模型的相對排名;在 WandBot 案例中,相關檢索指標亦較接近真實查詢。團隊並提供完整程式碼,供用戶為自己的數據建立基準。
Self-Assessment Reinforcement Learning(SARL)讓模型在訓練期間識別搜尋狀態、改善搜尋行為,無須在推理時額外評估。雙重獎勵設計鼓勵有效而高效的搜尋軌跡,SARL 較最強基線相對提升 24.3%,在多跳推理及深度研究基準上平均分別提升 35.9% 和 27.9%。作為獨立強化學習框架,SARL 在延長搜尋過程中仍能保持訓練穩定。
這篇週報整理了 2026-10-12 至 2026-10-19 的 RAG/GraphRAG 動態,聚焦生產環境故障,以及智能體記憶的建構和評估問題。研究涵蓋 10 個 RAG 系統的 654 宗配置故障;FuseRAG 相較最佳 GraphRAG 基線,TTFT 提速 2.2–2.7x,且沒有品質損失。
作者以 100,000 個 OpenAI 嵌入向量比較 pgvector 0.8.7 與 Qdrant 1.19.2,測得 Qdrant 在相若召回率下延遲較低。
Deep Fusion Memory(DFM)是一種區塊級參數化記憶架構,透過閘控交叉注意力將預測的記憶融入中間隱藏狀態,推理時無需明確檢索。與現有參數化記憶方法相比,DFM 建構訓練資料所需的檢索查詢減少 32 倍、檢索項目減少 2048 倍。在六項問答任務中,DFM 相較最強基線,在 Mistral-7B-v0.3 和 Qwen3-8B-Base 上分別提升 12.71% 和 11.19%。
CoRE 提出一種無需預設查詢與規則配對監督的結構化知識檢索方法,協同學習為查詢選擇推理規則,以及依規則約束檢索證據。它交替使用強化學習訓練路由策略,並以對比學習訓練檢索器。在 STaRK-QA 的科學發現、生物醫學推理和電子商務知識管理數據集上,實驗顯示 CoRE 有效;分析亦顯示規則使用情況可用於自動改進和發現規則。
UNREAL 提出模型原生的證據選擇框架,以單一機制涵蓋語料庫檢索與長上下文推理,並新增少於 500K 個可訓練參數,保持骨幹模型不變。在包含 3B 個 token、21M 個文本區塊的 Wikipedia 索引上,四種密集及混合式骨幹模型均勝過最先進的檢索器—重排序器系統;最佳模型在 HotpotQA 的召回率由 49.1% 提升至 73.2%。