跳到正文
評測來源

FACTS Parametric

Google DeepMind / Kaggle / 知識 · 不借助搜索工具回答世界事實問題,檢驗模型自身知識的準確性。

官方評測
在 ATech Hot 中觀察中
證據預算不計分
上游數據時間待核實
最近成功同步尚未開始採集

它測什麼,怎麼測

只考慮固定任務版本的 Score,保留公開集、私有集與置信區間供核查;不能把三個相關分數重複計票。FACTS 不在 AA v4.3 的十項底層評測中。

如何使用這份證據

觀察中:官方協議與許可已確認,但沒有完成題數或完整性標記;部分行區間顯著寬,總分與公開集、私有集的彙總口徑也存在待確認情形。等待評測方説明,不刪除異常行來強行接入,不佔評分預算。

評測侷限與數據署名

裁判與評測發起方均來自 Google,需結合其他機構證據。導出未説明部分結果是否完成同一套題,不能把局部結果當完整評測;從區間反推的樣本量不是官方確認事實。

數據許可:Apache 2.0 · 官方 benchmark 與 Score task 頁面明確聲明;Kaggle 文檔提供公共榜單的免登錄 JSON 下載。

成績由 Google DeepMind / Kaggle 發佈,原始分數與 ATech Hot 共識分使用不同尺度,不能直接相加。