跳到正文
目前篩選:論文
11月21日週六
  1. 阿里雲開發者社區 AI34

    LLM 文本私隱與匿名化方法綜述

    這項綜述梳理 LLM 文本私隱與匿名化方法的演進,指出研究已由靜態移除個人可識別資訊(PII),轉向兼顧語義效用、任務需求與合規性的動態決策。文中整理語義重寫、局部差分私隱、基準評估及代理私隱對齊等路線,並比較各自在表示質素、適應效率與計算成本上的取捨。

11月19日週四
11月17日週二
11月13日週五
  1. HuggingFace Daily Papers(社區熱門論文)39

    GPBam:德國公法考試檢索基準測試

    GPBam 是涵蓋德國公法考試案例及法條的基準測試,聯合評估法律檢索與長篇法律意見生成。研究評估了 32 個開放權重及專有模型;不使用檢索時,得分介乎 4.81 至 76.42 分(滿分 100 分),加入檢索最多提升 4.1 分。法條原文回憶表現與法律意見品質高度相關,在 32 個模型中相關係數為 ρ=0.92。

11月12日週四
  1. 創業邦52

    研究顯示未來醫生 MedGPT 在複雜肺癌病例診療方案評分中以 88:12 領先 250 名三甲醫生

    未來醫生 MedGPT 在一項以 40 宗複雜肺癌病例進行的研究中,平均得分 85.29,高於 250 名三甲醫生無輔助時的 53.26。在與醫生無輔助提交的 750 份診療方案一對一比較中,MedGPT 有 660 次獲較高評分,結果為 88:12;底層模型直接回答時,得分下降近 24 分,移除多學科會診模組則下降 16 分。

11月11日週三
  1. DEV Community45

    詞彙重疊檢查在偵測 RAG 幻覺方面勝過 DeBERTa NLI 模型

    在 RAGTruth 的 900 條測試回應中,詞彙重疊檢查偵測 RAG 幻覺的 AUROC 為 0.778,高於 DeBERTa NLI 模型的 0.716。詞彙檢查在全部 2,700 條測試回應中的 AUROC 為 0.785,而集成檢測器整體表現未勝過單獨使用詞彙檢查。作者建議把廉價檢測器用作分流訊號,而非封鎖答案的門檻。

11月7日週六
  1. Hacker News 熱門(buzzing.cc 中文翻譯)45

    Memorilla:面向大型語言模型(LLM)的潛在語義記憶

    Memorilla 是一套供凍結式 LLM 使用的記憶系統,將整個文件集中的資訊整理成固定數量、依查詢而定的記憶 token。使用 16 個記憶 token 時,它在八項基準測試中的五項勝過 Mem0 和 MemoRAG;在 FactKG 上準確率達 84.33%,高於完整上下文推理的 80.43%,而表示來源文件所需的 token 少 108 倍。

11月6日週五
11月4日週三
  1. HuggingFace Daily Papers(社區熱門論文)52

    簽署後仍可操控:衡量並縮小離線 RAG 的文字與向量完整性差距

    該研究衡量離線 RAG 簽署知識包的文字與向量完整性差距,並比較向量重算、壓縮索引審核及量化碼驗證方法。理想化浮點噪聲級容差仍令最多 5.5% 查詢暴露;在包含 57,638 份文件的 FAISS 乘積量化索引中,通過審核的篡改向量可令攻擊者文件在 25% 目標中排首位。改為驗證量化碼並加入校準保護區及規範化後,三個平台的樣本中所有誠實向量均獲接受。

11月3日週二
  1. DEV Community61

    六款大語言模型回答 387 個真實建築問題的檢索前後表現如何

    Metal America 測試六款大語言模型回答 387 個真實建築問題的表現,比較模型單獨作答與檢索相關資料後的結果。在六款模型均完成的 199 題中,平均正確率由約 19% 升至約 90%;只有兩款模型回答了全部 387 題。檢索後仍出現的錯誤主要與內部文件互相矛盾有關,尤其是融資規則。

  2. DEV Community47

    RAG 管線安全評估:檢索並非安全邊界,測試中毒語料與無法回答的問題

    一個混合檢索 RAG 管線在三種檢索後端接受中毒語料及無法回答問題測試,植入主張在 80.6% 的攻擊測試中進入答案,無法回答的問題則有 83.3% 被編造答案。良性測試的完成率為 90%,沒有錯誤拒答;SQuAD 格式測試中,20 題有 19–20 題包含標準答案片段,平均 token F1 為 0.20–0.21。

11月2日週一
  1. HuggingFace Daily Papers(社區熱門論文)34

    TRIO:以個別化優化改進檢索增強生成

    TRIO 是一套多智能體 RAG 框架,協調 Query Agent、Judge Agent 和 Answer Agent,分別優化檢索、證據評估和答案推理。它在五個問答基準中取得最高平均 Exact Match,並在未見過的 PubMedQA 上達到 76.6% 準確率。使用 4B 和 8B 模型時亦表現出色。

  2. HuggingFace Daily Papers(社區熱門論文)19

    RAG 如何提升股市資訊檢索效果

    一個用於回答股市查詢的 RAG 系統,在 100 條股市相關查詢的數據集上測試,ROUGE-1、ROUGE-2 和 ROUGE-L 均取得高分。系統平均回應時間為 1.16 秒,研究以此評估回應速度。

10月30日週五
  1. EleutherAI:Blog64

    EleutherAI 研究顯示預訓練數據過濾可降低開放權重模型的 WMDP-Bio 表現

    EleutherAI 的 Deep Ignorance 研究發現,預訓練數據過濾可令 6.9B 模型在 WMDP-Bio 接近隨機水平,同時大致保留無關知識基準的表現。過濾模型即使以 300M tokens 專家標註的生物風險論文微調,WMDP 表現仍低於未過濾基線。但在提供論文摘要作上下文的開卷測試中,過濾模型表現接近基線,顯示數據過濾不能阻止模型利用上下文中的相關資訊。

  2. HuggingFace Daily Papers(社區熱門論文)44

    Glance:生成器就是自己的重排序器

    Glance 將生成與重排序整合至同一個 9B backbone,透過共享預填上下文及輕量適配器和 pointer head 為候選段落評分。經 39 分鐘 MS MARCO 微調後,Glance 在 SciFact 和 NFCorpus 的 nDCG@10 分別為 0.741 和 0.345,高於 bge-reranker-v2-m3 的 0.721 和 0.326。

  3. HuggingFace Daily Papers(社區熱門論文)42

    DeFT-RAG:將多跳問題拆解為可重用答案的自包含子問題

    DeFT-RAG 透過逐步生成自包含子問題、以規則更新和輕量決策模型處理部分工作,以及快取和重用答案,改善多跳問答。在 MuSiQue、2WikiMultiHopQA 和 HotpotQA 上,使用 gpt-4o-mini 和 Qwen3.6 作為基礎模型時,其準確率均勝過 13 個基準方法,輸入 LLM 的 token 數亦少於其他迭代式方法。

10月29日週四
  1. LangChain:Blog51

    LangChain 以 OpenWiki 和證據圖譜建立有證據支撐的 Agent 記憶

    LangChain 在 111 份合成保險文件上測試 OpenWiki,跨文件問題的答案準確度約為單靠搜尋的 5 倍。加入證據圖譜後,準確度再升 27%、引文一致性倍增,中位回答時間減少 40%,每個正確答案的成本降低 58%。圖譜沿用現有引文和文件參照建立,毋須額外模型呼叫;簡單查詢則未見準確度提升,搜尋速度更快。

  2. DEV Community60

    Agent 記憶系統為何不及原始資料檢索

    一項比較 11 種 Agent 記憶系統與簡單 RAG 的研究發現,多數專用記憶系統在三個基準測試中的表現不及直接檢索原始歷史紀錄。在 LongMemEval-s 上使用 Qwen3.6-27B 時,兩輪簡單 RAG 得分為 81.4%,A-Mem 為 79.4%,MemOS 為 76.6%,SimpleMem 為 73.6%。

10月28日週三
10月27日週二
10月26日週一
  1. DEV Community52

    Dify RAG 流水線基準測試:負載下的 Token 消耗、快取命中率與檢索延遲

    JJ657 對 Dify RAG 流水線進行負載基準測試,發現重排提示詞可令每次查詢成本較無快取基線下降 51%。測試中快取命中率由 25.7% 升至 74.3%;30 個以上並發用戶時,Postgres 向量搜尋成為瓶頸。將 pgvector IVFFlat 的 lists 調至 500 並加入 pgbouncer 後,40 個並發用戶的 p95 延遲由 5.3s 降至 2.1s。

  2. DEV Community47

    臨牀智能體系統的 Evidence-Aware RAG 評估:為何標註覆蓋率決定檢索評分

    臨牀 AI 團隊指出,RAG 檢索評分不只反映檢索器質素,也受相關證據的標註覆蓋率影響,並提出區分標註覆蓋率與系統質素的評估方案。測試中,18 個查詢的證據跨度由 25 增至 37、chunk 目標由 36 增至 51,檢索結果不變,Recall@3 維持 0.94。團隊建議追蹤標註覆蓋率,並分辨檢索失敗、標註缺口與語料證據不足。

10月25日週日
  1. HuggingFace Daily Papers(社區熱門論文)55

    記憶税:剖析智能體記憶的淨價值

    這項研究透過多項基準測試和不同模型骨幹的大規模評估,發現不少專用記憶系統在許多情況下不及直接從原始歷史檢索的簡單 RAG,呈現負淨價值。研究以 RAG 為參照,把記憶的淨價值拆分為「記憶收益」與「記憶税」;記憶處理可能移除或遮蔽證據,造成記憶税。作者表示將向社羣開源程式碼和結果,並希望這個概念能引導更可靠的記憶設計與評估。

10月24日週六
  1. HuggingFace Daily Papers(社區熱門論文)46

    邊緣離線生成式 AI 的信任機制:連線狀態框架及 Raspberry Pi 5 實證研究

    研究提出 C0-C4 連線狀態框架及推理時信任機制分類,並在 Raspberry Pi 5 上評估本地檢索增強生成,測試三種 Qwen2.5 模型規模。檢索分數閘門識別知識缺口的 AUROC 為 0.97,但對主題內無法回答的問題表現較差,AUROC 為 0.68。有效簽署的污染知識包仍可通過所有檢查,令 30 條原本答對的問題全數答錯,當中 14 條返回注入答案;所測機制均不能確立證據真偽。

10月23日週五
  1. HuggingFace Daily Papers(社區熱門論文)48

    複雜的智能體記憶是否總是必要?樸素 RAG 比我們想像的更強

    研究發現,在多項對話記憶基準測試中,直接檢索原始對話歷史的 Raw-RAG 整體表現勝過複雜的智能體記憶系統。Raw-RAG 在七種基準測試與模型設定中的六種排名第一,較最強的受測智能體記憶系統高 0.13–5.53 分。結果顯示,保留原始證據有助提升必要資訊的覆蓋率,樸素 RAG 是評估對話記憶系統的重要基線。

10月22日週四
  1. HuggingFace Daily Papers(社區熱門論文)51

    LASAGNA 評估 RAG 組合效果,發現單項技術收益難以預測整體表現

    LASAGNA 研究以開源框架評估不同規模的 RAG 流程,發現單項技術的收益未必能預測組合後的檢索品質、答案忠實度或大語料表現。研究測試 8 個基準上的 450 種配置,涵蓋 5K 至 200K 份文件;三種檢索技術預計組合提升 +47%,實際合用僅提升 +17%。研究亦發現,提升檢索品質與答案忠實度可能需要不同組合,且最佳組合會隨語料規模改變。

  2. Chroma Research46

    Chroma Research 評估用 Embedding Adapters 提升檢索效果

    Chroma Research 評估在嵌入向量上套用線性轉換,以提升檢索準確度的做法。只調整查詢嵌入向量,使用最少 1,500 組已標註的查詢與文件配對,檢索準確度較單獨使用預訓練嵌入模型最高提升 70%。從未標註為相關的文件中隨機抽取負面例子已足以達成改善,有助降低標註成本。

  3. Chroma Research51

    Chroma Research 提出生成式基準測試方法評估檢索系統

    Chroma Research 提出一套生成式基準測試方法,先篩選與用戶情境相關的文件,再根據情境和範例查詢生成測試查詢,以評估檢索系統。研究在 9 個公開數據集及 Weights and Biases 的 WandBot 生產資料上測試,生成查詢大致保留嵌入模型的相對排名;在 WandBot 案例中,相關檢索指標亦較接近真實查詢。團隊並提供完整程式碼,供用戶為自己的數據建立基準。

10月21日週三
  1. HuggingFace Daily Papers(社區熱門論文)38

    用於檢索增強大語言模型搜尋狀態感知的自我評估強化學習

    Self-Assessment Reinforcement Learning(SARL)讓模型在訓練期間識別搜尋狀態、改善搜尋行為,無須在推理時額外評估。雙重獎勵設計鼓勵有效而高效的搜尋軌跡,SARL 較最強基線相對提升 24.3%,在多跳推理及深度研究基準上平均分別提升 35.9% 和 27.9%。作為獨立強化學習框架,SARL 在延長搜尋過程中仍能保持訓練穩定。

10月19日週一
10月18日週日
  1. HuggingFace Daily Papers(社區熱門論文)42

    Deep Fusion Memory:面向大語言模型的區塊級參數化記憶

    Deep Fusion Memory(DFM)是一種區塊級參數化記憶架構,透過閘控交叉注意力將預測的記憶融入中間隱藏狀態,推理時無需明確檢索。與現有參數化記憶方法相比,DFM 建構訓練資料所需的檢索查詢減少 32 倍、檢索項目減少 2048 倍。在六項問答任務中,DFM 相較最強基線,在 Mistral-7B-v0.3 和 Qwen3-8B-Base 上分別提升 12.71% 和 11.19%。

10月17日週六
  1. HuggingFace Daily Papers(社區熱門論文)32

    CoRE 如何協同學習規則路由與約束式結構化知識檢索

    CoRE 提出一種無需預設查詢與規則配對監督的結構化知識檢索方法,協同學習為查詢選擇推理規則,以及依規則約束檢索證據。它交替使用強化學習訓練路由策略,並以對比學習訓練檢索器。在 STaRK-QA 的科學發現、生物醫學推理和電子商務知識管理數據集上,實驗顯示 CoRE 有效;分析亦顯示規則使用情況可用於自動改進和發現規則。

10月7日週三
  1. HuggingFace Daily Papers(社區熱門論文)48

    UNREAL: Unifying Retrieval and Long-Context with a Single Model

    UNREAL 提出模型原生的證據選擇框架,以單一機制涵蓋語料庫檢索與長上下文推理,並新增少於 500K 個可訓練參數,保持骨幹模型不變。在包含 3B 個 token、21M 個文本區塊的 Wikipedia 索引上,四種密集及混合式骨幹模型均勝過最先進的檢索器—重排序器系統;最佳模型在 HotpotQA 的召回率由 49.1% 提升至 73.2%。