跳到正文
Hugging Face Blog·· 2026-02-04精選AI 評分65

Hugging Face Hub 推出 Community Evals,開放社羣提交模型評測結果

Community Evals: Because we're done trusting black-box leaderboards over the community

AI 導讀

Hugging Face Hub 推出 Community Evals,讓 benchmark 資料集託管排行榜,並在模型卡片展示評測分數。使用者可透過 PR 為任意模型提交結果,結果會標示為「community」,且可附上論文、Model Card 或評測日誌等來源。資料集可用 eval.yaml 定義評測規格,供他人重現;這項功能目前處於 beta。

推薦理由

Hugging Face 將評測規格、模型分數與社羣提交納入 Hub 的可追溯流程,Hub 的 Git 歷史記錄新增及修改時間,方便聚合比較不同來源的模型成績。

正文 · 繁體中文

banner

簡介:Hugging Face 上的基準測試資料集現可託管排行榜。模型儲存庫可保存自身評估分數,資料之間互相連結。社羣可透過 PR 提交結果。已驗證徽章可證明結果能夠重現。

評估機製出了問題

坦白説,看看我們在 2026 年的評估現況。MMLU 已飽和,分數超過 91%。GSM8K 已達 94%+。HumanEval 已被攻克。然而,根據使用者報告,有些模型即使在基準測試中取得高分,仍無法可靠地瀏覽網頁、編寫正式程式碼,或處理多步驟任務而不產生幻覺。基準測試分數與真實世界表現之間存在明顯差距。

此外,已公佈的基準測試分數之間亦有另一個差距。不同來源會公佈不同結果,無論是模型卡、論文還是評估平台,分數都未有統一標準。結果是社羣缺乏單一可信資料來源。

我們正在推出甚麼

去中心化、透明的評估結果發布機制。

我們將以新方式推進 Hugging Face Hub 上的評估工作:去中心化發布,讓整個社羣都能公開提交基準測試分數。起初會先推出 4 項基準測試的精選清單,之後逐步擴展至最相關的基準測試。

基準測試:資料集儲存庫現可登記為基準測試(MMLU-Pro、GPQA、HLE 已上線)。它們會自動彙整 Hub 上各處公佈的結果,並在資料集卡顯示排行榜。基準測試會使用 eval.yaml 定義評估規格,格式以 Inspect AI 為基礎,任何人都可重現測試。公佈結果必須符合任務定義。

benchmark image

模型:評估分數存放在模型儲存庫的 .eval_results/*.yaml,並會顯示於模型卡及供基準測試資料集使用。系統會彙整模型作者的結果以及公開的結果提取要求。模型作者可關閉分數 PR 並隱藏結果。

社羣:任何用戶都可透過 PR 為任何模型提交評估結果。結果會標示為「社羣提供」,無需等待模型作者合併或關閉 PR。社羣可連結至論文、模型卡、第三方評估平台或 inspect 評估記錄等來源,並像討論任何 PR 一樣討論分數。由於 Hub 採用 Git,所有評估新增和修改時間都有歷史記錄。來源示例如下。

model image

如欲瞭解更多評估結果資訊,請參閲文件。

Hub 上的模型分數

為何重要

去中心化評估可公開社羣中已存在的分數,例如模型卡和論文中的結果。透過公開這些分數,社羣可進一步彙整、追蹤和了解整個領域的分數。此外,所有分數都會透過 Hub API 提供,方便大家彙整資料並構建精選排行榜、儀錶板等。

社羣評估不會取代基準測試,因此排行榜和已公佈結果的封閉評估仍然重要。不過,我們相信以可重現的評估規格為基礎,公開評估結果對整個領域十分重要。

這不會解決基準測試飽和或基準測試與現實之間的差距,也不會阻止有人使用測試集訓練模型。但公開評估內容、方式、時間及評估者,可令整個過程更透明。

我們主要希望 Hub 成為積極構建和分享可重現基準測試的平台,尤其聚焦挑戰更強 SOTA 模型的新任務和領域。

立即開始

閲讀文件:如欲瞭解更多評估結果資訊,請參閲文件。

新增評估結果:將你進行的評估以 YAML 檔案發布到任何模型儲存庫的 .eval_results/。

查看分數,前往基準測試資料集。

登記新基準測試:在資料集儲存庫加入 eval.yaml,並聯絡我們,申請加入精選清單。

此功能仍處於測試階段。我們正公開協作開發,歡迎提供意見。

來源:Hugging Face Blog · huggingface.co