跳到正文
熱點事件持續更新

MultiNLI標註一致度因文本類型而異

1 篇報道1 個報道來源2 小時前更新

先了解這件事

AI 綜述

2026年10月25日,DEV Community刊出一篇關於 MultiNLI 標註一致度的普查報道。報道所述兩項預先註冊、可重現的普查顯示,MultiNLI 金標籤的標註者一致程度會隨文本類型而異;政府文本的一致率最低,為53.4%,書信最高,為65.3%。報道另提及一項 ChaosNLI 審計:在3,113個抽樣例子中,有311個即使各自經過100次標註,仍未出現嚴格多數。這些結果反映的是標註者之間的一致度,並非標籤正確性的衡量。

AI 根據報道生成 · 2 小時前更新

報道時間線

沿着報道,瞭解事件的不同側面。

10月25日
  1. DEV Community
    MultiNLI 各文本類型的標註者一致度普查:哪些金標籤最不具決定性?

    兩項預先註冊的可重現普查顯示,MultiNLI 金標籤的一致程度因文本類型而異,政府文本的一致率最低(53.4%),書信最高(65.3%)。另一項 ChaosNLI 審計發現,3,113 個抽樣例子中有 311 個即使經過 100 次標註仍沒有嚴格多數。這些結果衡量的是標註者一致度,而非標籤正確性。

本事件熱度走勢

還沒有足夠的連續觀測數據,暫不繪製趨勢。