跳到正文
熱點事件持續更新

Cohere提出檢索相關性評估方法

1 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

Cohere 在 2026 年 10 月 6 日提出 RCP-nDCG@10,作為評估檢索相關性的方法,旨在補足傳統 nDCG 可能漏計相關文件的限制。方法以經校準的 AI 評審按統一準則評估每份檢索文件,結合五項是非題、文件間比較及跨查詢校準,讓不同查詢的相關性評分採用共同尺度。測試涵蓋 273 個查詢,由 46 名標註員參與 289 場盲測對比;RCP-nDCG 選中評審偏好系統的比例為 77%,傳統 nDCG 為 52%。樣本刻意增加了兩種指標判斷不同的對比所佔比例;報道並提供程式碼與數據集連結 https://g。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月6日
  1. Cohere 產品與研究博客
    RCP-nDCG@10:更全面衡量檢索相關性的方法

    Cohere 提出 RCP-nDCG@10,以經校準的 AI 評審依統一準則評估每份檢索文件,補足傳統 nDCG 可能漏計相關文件的侷限。方法結合五項是非題、文件間比較和跨查詢校準,令不同查詢的相關性評分採用共同尺度。在 46 名標註員參與、涵蓋 273 個查詢的 289 場盲測對比中,RCP-nDCG 選中評審偏好系統的比例為 77%,傳統 nDCG 為 52%;樣本刻意多取兩種指標判斷不同的對比,程式碼與數據集見 https://github.com/cohere-ai/rcp-ndcg。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。