重排序器何時會令記憶搜尋變差
一項以 184 條問題進行的記憶搜尋實驗發現,加入 cross-encoder 重排序後,正文問題及連結筆記目標的 nDCG 下降。正文問題的 nDCG 由 0.821 降至 0.658,連結筆記目標則由 0.267 降至 0.166;標題問題的 nDCG 上升,而時間性問題樣本僅 4 條,無法支持可靠的一般結論。
一項以 184 條問題進行的記憶搜尋實驗發現,加入 cross-encoder 重排序後,正文問題及連結筆記目標的 nDCG 下降。正文問題的 nDCG 由 0.821 降至 0.658,連結筆記目標則由 0.267 降至 0.166;標題問題的 nDCG 上升,而時間性問題樣本僅 4 條,無法支持可靠的一般結論。
Cohere Labs 提出 NarrativeBench,並評估 14 個大語言模型,發現現有模型尚缺乏可靠引導用戶跨語言瀏覽多元敍事的能力。基準包含 1,333 篇來自 23 種出版語言、涉及 23 個爭議議題的新聞文章,以及 460 個以 Reddit 為基礎的查詢;評估涵蓋 24 種查詢語言。研究指出,資訊可及性會隨查詢框架和語言而異,這種差異可能加劇迴音室、語言篩選泡泡及資訊落差。
MRPD 透過重播專家的訓練紀錄,將多個長時程 RL 專家整合為一個模型,毋須重新採樣、呼叫環境或獎勵模型。在推理、搜尋和 SQL 三個智能體領域,MRPD 的學生模型表現最佳,勝過同一批專家訓練的 MOPD,整合成本約為訓練專家所需計算量的七分之一。研究亦指出,訓練紀錄的先後次序比數量或獎勵更重要。
Airbnb 研究人員推出 CASTLE,利用去識別化的預訂紀錄及大型語言模型生成合成搜尋查詢和相關性標籤,讓自然語言搜尋模型在真實搜尋流量不足時也能訓練。CASTLE 與最佳基線 Promptagator 的 KL 散度分別為 1.01 和 9.33,散度降低 9.2 倍;三名專家對其相關性判定的認同度介乎 91% 至 93%。
cloro 的公開基準測試比較六款網頁搜尋 API,Exa 以每次搜尋中位數 0.74 秒成為最快者。兩款 Google SERP API 每次約需 8 秒,但在 824 道多跳問題中,單次搜尋答對率分別為 80.2% 和 77.4%,高於 Exa 的 64.0% 及 Tavily 的 48.4%。
Claude Sonnet 5.5 比較網頁搜尋與單次 API 呼叫查核 25 間公司,首輪網頁搜尋有 23 間完全答對,API 有 17 間。修正 API 的四個錯誤後,第二輪 API 答對 20 間,網頁搜尋答對 19 間;這是針對同一批公司調整後的測試,尚未以新公司驗證。第二輪 API 在 12 間較難查核的公司中答對 11 間,網頁搜尋則答對 6 間。
這項研究提出 Repo-Premium,一個以真實程式碼庫為基礎的程式碼搜尋基準,用來重新檢視稠密檢索相對 BM25 的優勢。研究發現,評測設計偏向稠密檢索及查詢缺少程式碼中的稀有識別符號,是優勢的兩個來源;加入由 LLM 生成的識別符號後,BM25 在每個 Python 測試池均追平稠密檢索。
六個搜尋 API 的 358 道 FreshQA 時效性題目測試中,SerpApi 和 cloro 的結果令大語言模型答對率最高,分別為 88.5% 和 88.3%。
香港科技大學 MMSense Lab 提出視覺原生智能體框架,為圖像分配編號並存入同一圖像庫,讓不同工具在解題流程中接續調用同一張圖。團隊另提出 ODE,按模型 rollout 的解題紀錄修訂出題規則;在八項評測中,8B 模型平均準確率由 24.9% 升至 39.0%,30B 模型由 30.6% 升至 41.5%。
LogT 提出全自動 SFT 數據引擎,透過邏輯鏈引導推理,生成具挑戰性的視覺問題及結構化工具使用軌跡。以 Qwen2.5-VL-7B 為基礎的 LogT-SFT 使用的數據少 3.1 倍、GPU 時數少逾 120 倍,表現仍超越結合 SFT 和 RL 訓練的 SOTA 方法。只採用簡單 RL 配方且不作工具專用設計,模型表現亦較先前複雜 RL 設定高 9.59 分。
DeepStress 是一套動態壓力測試框架,透過可控地降低檢索證據品質,測試搜尋智能體在不同證據條件下的表現。研究以 HotpotQA 和 BrowseComp-Plus 的問題評估 12 個系統,發現多個開放權重智能體在來源有明顯可信度警號時仍會自信作答。許多 HotpotQA 問題即使所有檢索文件均有事實錯誤,仍會依靠模型參數中的知識作答。
研究提出加權 state souping,透過學習依據查詢調整的權重來組合已快取的狀態,改善狀態空間模型在長而密集的上下文中的表現。該方法提升多種文件問答、資訊檢索、變數追蹤和工具使用任務的表現;其稀疏版本在維持或提升效能的同時,令編碼成本近乎不隨上下文長度增加。
MeloLabs.net 的研究顯示,為 Haiku 提供整理過的項目記憶後,依賴項目歷史的決策題答對率由 14% 升至 93%,每次回答的成本約為把整個項目貼入提示詞的 1/250。研究以 109 份文件、152 張決策卡和 120 條問題進行測試,把整個項目貼入提示詞的準確率為 76%,整理後記憶則為 95%。作者提醒,問題取自同一批決策卡,這個提升幅度不能直接視為真實項目的預測。
這項網站調查分析 Tranco 排名前 2,000 個網域中 1,069 份可用 robots.txt,發現訓練爬蟲的封鎖比例高於 AI 搜尋爬蟲。GPTBot 封鎖率為 19.7%,OAI-SearchBot 為 6.7%;在封鎖 GPTBot 的 211 個網站中,139 個(65.9%)仍允許 OAI-SearchBot。
研究提出 NarrativeBench,並評估 14 個大語言模型在跨語言多元資訊搜尋上的表現,發現現有模型未能可靠地協助用戶瀏覽不同敍事。該基準涵蓋 1,333 篇使用 23 種出版語言的新聞文章、23 個爭議議題及 460 個以 Reddit 為基礎的查詢,評估涵蓋 24 種查詢語言。即使用戶明確要求多元觀點,模型仍留下接觸競爭敍事的顯著缺口,並帶來迴音室、語言過濾泡沫及資訊差距的風險。
作者測量 528 個高排名網站的 robots.txt,發現封鎖 GPTBot 的網站中,66.5% 也封鎖可帶來流量的 AI 爬蟲。GPTBot 用於收集訓練資料;OAI-SearchBot 建立 ChatGPT 瀏覽功能的搜尋索引,ChatGPT-User 則在用戶等待回答時抓取內容。
一項工作論文分析發現,在所研究的美國數據中,ChatGPT 廣告付費流量每個工作階段帶來的收入低於 Google 搜尋廣告。ChatGPT 每個工作階段收入為 $0.89,轉換率為 0.37%;Google 搜尋廣告則為 $2.45 和 1.17%。
研究探討以可訓練前綴 token 減少檢索嵌入向量中的表徵幹擾。提供的內容未載有其他研究方法或結果細節。
Claude 和 GPT 在十個城市推薦 AI 機構及招聘公司時,引用的名單和資訊來源差異明顯。研究共比較 24 個 AI 機構回答和 20 個招聘回答;Claude 多引用名錄,GPT 的來源則幾乎全是所推薦公司的網站。研究只各執行一次每個問題,結果未必適用於所有行業。
Apple 研究人員在 ICML 2026 發表 Amortizing Maximum Inner Product Search with Learned Support Functions,透過離線訓練的小型神經網絡,為固定的 key 數據庫學習查詢路由,以加快並提升 MIPS 檢索準確度。
針對35家法國服務業中小企的測試顯示,不提供企業名稱時,GPT推薦17家,Claude推薦4家。兩者只共同推薦3家;提供名稱及網站時,GPT能正確描述35家企業的業務,Claude則能描述34家。ZH-HK
Sitecheckly 2026 年 10 月網站安全調查分析了 4,934 個網站首頁,平均安全評分為 77.1/100,AI 搜尋準備度評分為 66.4/100。調查發現,13% 的首頁有可偵測的停止支援或已知漏洞元件;由於檢測受公開版本資訊限制,這只是下限。可讀取 robots.txt 的 4,546 個網站中,6.2% 封鎖至少一個 AI 搜尋爬蟲,15% 封鎖至少一個訓練爬蟲。
一個新網站約 75 小時的伺服器記錄顯示,Googlebot、GoogleOther 和 ClaudeBot 曾請求 llms.txt 或 llms-full.txt。
一項研究發現,約 20.9% 的 HTTP 200 網頁回應不含頁面主要內容,可能只返回空殼、CAPTCHA 驗證挑戰或封鎖頁面。研究以 10,307 個網址進行三日測試,按實際取回內容而非 HTTP 狀態碼分類,並指出簡單啟發式檢查可識別約 86% 無法使用的回應。若把所有 HTTP 200 回應均視為成功取回,表面上的引用漂移比例會由 5.8% 升至 21.9%。
FactEmbed 以分解式 MLLM 嵌入改進組合式圖像檢索,將組合查詢理解與判別式嵌入構建分開。模型透過分解式潛在表示模擬預期的視覺修改,並在檢索前將表示對應至目標語義;評測顯示,FactEmbed 在多個組合式圖像檢索基準上勝過先前方法。
Coca-Cola 讓 LLM 智能體以精簡的潛在表示接收工具觀察,無須重建原始工具輸出。在四個網頁搜尋問答基準及 Qwen、GLM 兩個模型系列的評測中,總智能體 token 消耗降低 70.01%–89.24%,端到端執行時間縮短 24.45%–55.97%。所有評測設定中的答案 EM 和 F1 均高於未壓縮的智能體。
DR Pixel 是一個開源多模態智能體,直接以渲染後的文件頁面圖像作為檢索與推理單位,並在包含 1.06M 頁的語料庫上運作。研究建立 DRPixelBench;未經訓練的頁面原生方法已在 GPT-5.4、Gemini-3.5-Flash 和 Qwen3.6-27B 等模型上勝過 OCR 基線,且所需工具呼叫較少。
TokenCap 團隊撤回 v1.6 宣稱可減少 12.2× tokens 且答案相同的基準結果,指出原評測有五項問題,並以 benchmarks/fair/ 取代。
VisSearch-Bench 評估多模態智能體整合視覺脈絡與外部資訊、完成視覺密集型搜尋任務的能力;在 16 個多模態模型中,最佳系統即使使用搜尋工具,也只完整完成 26.47% 的任務。基準涵蓋 204 項人工撰寫的任務,分屬 7 個主要領域及 25 個子領域。
Sitecheckly 2026 年 11 月調查發現,95% 的受分析網站缺少 Cross-Origin-Opener-Policy,66% 缺少 Content-Security-Policy,反映瀏覽器防護仍有缺口。
工業 B2B 的 GEO 應把參數整理成機器可讀、可引用和可核對的資訊,並以事實出現率和事實正確率雙指標驗收。白皮書提出收斂事實底稿、結構化表達、實體錨定及信源分層等做法,並規劃 90 天落地路線。
研究分析 564,861 篇 AI 相關 arXiv 論文,發現跨主題名稱碰撞從 2020-2022 年的合併參照期至 2026 年增加 4.33 倍,遠高於同主題的 1.12 倍。提供研究線索後,同名論文的識別差距在標題 BM25 下仍為 25.7 個百分點,在標題加摘要的 E5 下為 6.9 個百分點;使用查詢和候選論文標題的 listwise 語言模型排序準確率達 89.2%。
FinForesight 是一項診斷式回測基準,用於評估金融深度研究系統的預測能力,並比較歷史、截點後及即時表現。基準涵蓋中國、美國及香港市場的四項預測任務,並將反事實推理和金融計算作為獨立診斷任務評分。研究發現,預訓練時期的分數在大多數時間比較中高於截點後分數;程式碼及基準數據已公開。
一項本地搜尋研究向 Google AI Mode 和 Perplexity 提出 232 個問題,涵蓋 15 個行業及 8 個休斯敦地區城市,並追查答案引用的來源。
DecisionRank 以 item-space on-policy 蒸餾,把生成式教師模型的排序知識轉移至決策模型,在檢索基準上達到最先進表現,推理速度亦顯著提升。1.7B 參數的 DecisionRank 在 TREC DL19–23 超越 27B 生成式教師模型;8B 版本在 TREC DL 上快 24.5 倍,在 BRIGHT 上快 16.7 倍。
WeFair 以示範、偏好和驗證三階段的人類回饋,改善微信短影片搜尋的個人化查詢改寫,減少意圖偏移。離線實驗中,WeFair-2B 的整體準確度和意圖保留表現優於強基線;線上 A/B 測試中,有效影片觀看率相對提高 2.593%,查詢改寫率相對降低 2.350%。WeFair-2B 已部署於微信短影片搜尋系統,每日服務超過 100 million 次查詢。
Trakkr Research 追查五款 AI 助手引用的 1,285 項統計數字,只有 40% 可追溯至內容一致的研究。這些數字來自五款助手對 200 個需要數字回答的問題;另有 8% 找到研究但數字或背景已改變,40% 無法核實,11% 的引用鏈未找到研究,1% 的頁面無法載入。只有 21% 的首個引用頁面是原始研究,54% 是公司網誌;ChatGPT 的數據來源核實率最高,為 57%。
Muck Rack 的《What Is AI Reading?》報告發現,新聞業在 AI 引用中的佔比由 5 月約 27% 降至 22%;研究分析 ChatGPT、Claude、Perplexity 和 Gemini 的逾 4,000 萬則回應及 2.07 億次引用。賺取媒體及第三方來源合計仍佔約 84%,而 9 月各系統引用來源中,只有 212 個網域同時出現在四個系統。
Hugging Face 官方基準測試地圖顯示,目前收錄 52 項官方基準測試、45 個排行榜及 1,131 個排行榜項目,涵蓋 438 個模型和 104 個機構。新增的檢索領域排行榜採用 BRIGHT 基準,目前有 2 個項目。排行榜分數由發布者自行提交,地圖不會重新執行評測。
UC Berkeley 的 Sky Computing Lab 建立開源向量索引 LEANN,將 60M 個 chunk 的 Wikipedia 索引由 201 GB 縮至 6 GB,方法是在查詢時重算嵌入向量。