跳到正文
熱點事件持續更新

文件問答 Demo 的拒答測試揭示近似問題弱點

1 篇報道1 個報道來源3 小時前更新

先了解這件事

AI 綜述

2026年11月1日,DEV Community 發表作者對文件問答 Demo 的測試:對知識庫外問題,正確拒答率為96.1%;對與文件內容相近、但未獲回答的問題,拒答率則為39.4%。報道指出,測試集(golden set)是由真實輸入及人工接受答案組成的清單,建議先從100個例子開始,刻意納入難例及應拒答例。測試集應與調整系統所用資料分開,並預先訂明驗收規則,再按類別報告結果。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

11月1日
  1. DEV Community
    文件問答 Demo 對知識庫外問題拒答率達 96%,對近似問題僅 39%;測試集揭示差異

    作者的文件問答 Demo 對知識庫外問題的正確拒答率為 96.1%,但對與文件內容相近、未獲回答的問題,拒答率只有 39.4%。文中把 golden set 定義為真實輸入及人工接受答案的清單,並建議先從 100 個例子開始,刻意納入難例與應拒答案例。測試集應與調整系統所用的資料分開,預先訂明驗收規則,並按類別報告結果。

本事件熱度走勢

當前熱度 9·可比範圍峯值 10(11月1日 13:00)·近 24 小時可比範圍變化 –

02.557.51011月1日13:0011月1日14:0011月1日14:0011月1日15:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指針或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。