MixPR:用於長上下文預處理的 Mixture-of-PageRanks 檢索器
Zyphra 提出 MixPR,一套結合兩類 PageRank 檢索、用於高效預處理長上下文輸入的 RAG 系統。系統按任務採用 PageRank 作全域檢索,或 Personalized PageRank 作局部檢索,並在多項長上下文基準測試取得 SOTA 結果。MixPR 可配合任何現有基礎模型,把有效 LLM 上下文長度延伸至十億級,並可在 CPU 上高效運行。
Zyphra 提出 MixPR,一套結合兩類 PageRank 檢索、用於高效預處理長上下文輸入的 RAG 系統。系統按任務採用 PageRank 作全域檢索,或 Personalized PageRank 作局部檢索,並在多項長上下文基準測試取得 SOTA 結果。MixPR 可配合任何現有基礎模型,把有效 LLM 上下文長度延伸至十億級,並可在 CPU 上高效運行。
LongLLMLingua 以提示詞壓縮處理 RAG 與長上下文中的「Lost in the middle」問題,並降低 token 用量及成本。其準確率最高可提升 21.4%,token 用量僅為原來的 ¼;長上下文情境下,每 1000 個例子可節省 $28。
LlamaIndex 解讀 DeepSeek-OCR 將文件圖像作為文字資訊的壓縮表示,並分析其與文件解析、LlamaParse 的關係。文中稱,論文示例把 1,000 個文字 tokens 壓至 100 個視覺 tokens,解碼準確率為 97%;20× 壓縮時準確率約為 60%。文章指出,RAG、文件問答和摘要等理解型用途可考慮視覺壓縮;若需要結構化資料、語義層級或精確文字操作,仍需文件解析。
研究以涵蓋五個資料集、三類任務的 1,891 個樣本,評估 11 個 LLM 在實際 RAG 設定中的檢索穩健性;整體穩健性普遍偏高,但因任務而異。停用推理時,Qwen 和 GPT 模型的穩健性明顯下降,即使在單跳 QA 任務上亦然;把檢索文件作為工具回覆提供,則提升 Claude 模型表現、損害 Qwen 和 GPT 模型表現。研究指出,是否採用 RAG 仍須按個案判斷。
SourceLearn 框架讓 AI 智能體隨時間建立可重用、針對特定來源的理解能力。在 13/15 個設定中取得最佳結果,較 Hybrid RAG 最多提升 +22.6 分;移除關鍵文件後,表現約下跌 8 分,Hybrid RAG 則下跌 25 分。學習成果亦可遷移至未練習的任務,改善指引任務未直接涵蓋的來源部分。