LMSYS 更新 Chatbot Arena 第 8 週排行榜，加入 MT-Bench 並推出 Vicuna-v1.3 系列（7B 至 33B）

這篇網誌文章分享 Chatbot Arena 排行榜的最新更新。排行榜現已加入更多開放模型及三項評估指標：

1. Chatbot Arena Elo，根據 Chatbot Arena 收集的 42K 個匿名投票，並使用 Elo 評分系統計算。
2. MT-Bench 評分，根據具挑戰性的多輪基準測試，並由 GPT-4 評分；這項測試由我們的論文 將 LLM 作為評審的研究提出並驗證。
3. MMLU，一項廣泛採用的基準測試。

此外，我們很高興推出全新系列的 Vicuna-v1.3 模型，參數量由 7B 至 33B，並以更多用戶分享的對話作為訓練資料。 模型權重現已開放下載。

更新後的排行榜及新模型

表 1. LLM 排行榜（時間範圍：April 24 - June 19, 2023）。最新及詳細版本請看這裏。

­

歡迎試用 Chatbot Arena 投票示範。 請注意，每項基準測試都有其限制，結果僅供參考。以下討論載有更多技術細節。

使用 MT-bench 和 Arena 評估聊天機械人

研究動機

雖然已有多項基準測試用於評估大型語言模型（LLM）的表現，例如 MMLU、HellaSwag 和 HumanEval， 我們留意到，這些基準測試評估 LLM 是否符合人類偏好時可能有所不足。 傳統基準測試通常以答案簡短的封閉式問題（例如選擇題）測試 LLM，未能反映以 LLM 為基礎的聊天助理的常見用途。

為填補這個不足，本次排行榜更新除了 Chatbot Arena Elo 系統外，亦加入一項新基準測試：MT-Bench。

• MT-bench 是一組具挑戰性的多輪問題，旨在評估模型的對話能力及遵循指示的能力。你可在這裏查看 MT-bench 的問題和答案範例。
• Chatbot Arena 是一個由羣眾共同參與的對戰平台，用戶可向聊天機械人提出任何問題，並投票選出自己較喜歡的答案。

兩項基準測試均以人類偏好作為主要指標。

為甚麼選用 MT-Bench？

MT-Bench 是一項經過精心策劃的基準測試，包含 80 條高質素的多輪問題。 這些問題旨在評估模型在多輪對話中的對話流程及指令遵循能力。 問題涵蓋常見使用情境，以及用來區分不同聊天機械人的具挑戰性指令。 MT-Bench 是對以羣眾參與為基礎的評估方式——Chatbot Arena——的品質受控補充項目。

運行 Chatbot Arena 兩個月並分析用戶的提示詞後，我們確定了用戶提示詞的 8 個主要類別：寫作、角色扮演、資訊提取、推理、數學、編碼、知識 I（STEM），以及知識 II（人文及社會科學）。 我們為每個類別設計了 10 條多輪問題，合共 160 條。圖 1 展示了部分問題範例。更多內容請見此處。

圖 1：MT-Bench 的問題範例。

不過，聊天機械人的答案該如何評分？

雖然我們相信人類偏好是黃金標準，但收集這類偏好向來耗時且成本高昂。 在首篇Vicuna 網誌文章中，我們探討了以 GPT-4 為基礎的自動評估流程。 此方法其後廣受歡迎，並獲多項同期及後續研究採用。

在最新的論文《評估作為評審的 LLM》中，我們進行了一項系統性研究，探討這些 LLM 評審的可靠程度。我們在此簡述研究結論，但建議閲讀論文以瞭解詳情。

我們先指出 LLM 作為評審可能存在的限制：

• 位置偏差：LLM 評審在成對比較中可能偏好排在前面的答案。
• 冗長偏差：不論答案質素如何，LLM 評審都可能偏好較長的答案。
• 自我增強偏差：LLM 評審可能偏好自己的回答。
• 推理能力有限：LLM 評審在評分數學及推理問題時可能有所不足。

我們的研究接着探討少樣本評審、思維鏈評審、參照答案評審及微調評審，如何有助減輕這些限制。

實施其中一些解決方案後，我們發現，儘管存在限制，GPT-4 等強大的 LLM 評審仍能與受控實驗及羣眾外包收集的人類偏好高度一致，一致率超過 80%。 這個一致程度與兩名不同人類評審之間的一致程度相若。 因此，如審慎使用，LLM 作為評審可成為人類偏好的可擴展且可解釋的近似評估方式。

我們亦發現，無須成對比較，單憑 GPT-4 進行單一答案評分，也能有效排列模型名次，並與人類偏好相當吻合。 表 1 在排行榜中列出一欄，展示以 GPT-4 進行單一答案評分所得的 MT-Bench 結果。

結果與分析

MT-Bench 能有效區分不同聊天機械人

表 1 詳細列出 MT-bench 強化版排行榜，我們在當中全面評估了 28 個熱門的指令微調模型。 我們觀察到不同能力的聊天機械人之間有明顯差異，評分與 Chatbot Arena Elo 評級高度相關。 尤其是，MT-Bench 顯示 GPT-4 與 GPT-3.5/Claude 之間，以及開源模型與專有模型之間，存在明顯的效能差距。

為深入瞭解聊天機械人之間的差異因素，我們挑選了幾個具代表性的聊天機械人，並在圖 2 按類別細分其表現。 GPT-4 在編碼及推理方面的表現優於 GPT-3.5/Claude，而 Vicuna-13B 在數個特定類別中明顯落後：資訊擷取、編碼及數學。 這顯示開源模型仍有很大的改進空間。

圖 2： 6 個具代表性的 LLM 在 8 個類別中的能力比較：寫作、角色扮演、推理、數學、編碼、資訊擷取、STEM、人文學科。

多輪對話能力

接下來，我們分析了所選模型的多輪評分，結果列於表 2。

表 2. LLM 在對話第 1 輪及第 2 輪的 MT-bench 得分明細。滿分為 10。

­

MT-bench 的設計包含具挑戰性的追問。 對於開源模型，從第 1 輪到第 2 輪的表現會大幅下滑（例如 Vicuna-7B、WizardLM-13B），而實力強勁的專有模型則能維持穩定。 我們亦留意到，LLaMA 系列模型與採用寬鬆授權的模型（MPT-7B、Falcon-40B 及經指令微調的 Open-LLaMA）之間，存在相當大的效能差距。

LLM 評審的可解釋性

LLM 評審的另一個優點，是能提供具可解釋性的評估。 圖 3 展示 GPT-4 對一道 MT-bench 問題作出的評審，並附有 alpaca-13b 和 gpt-3.5-turbo 的回答。 GPT-4 提供詳盡且合乎邏輯的意見，以支持其判斷。 我們的研究發現，這類評審有助引導人類在掌握更多資訊後作出更佳決定（詳情請參閲第 4.2 節）。所有 GPT-4 評審結果均可在我們的示範網站查看。

圖 3： MT-bench 在評估 LLM 的人類偏好方面提供更高的可解釋性。

總括而言，我們已證明 MT-Bench 能有效區分能力各異的聊天機械人。 它具備可擴展性，透過按類別細分提供有價值的見解，並具備可解釋性，方便人類評審核實。 不過，使用 LLM 評審時仍須謹慎。它仍可能出錯，尤其在評分數學／推理問題時。

如何在 MT-Bench 上評估新模型？

在 MT-bench 上評估模型既簡單又快捷。我們的程式碼支援所有 huggingface 模型，並提供了詳細指引，讓你產生模型對 MT-bench 問題的回答，以及相應的 GPT-4 評審結果。你亦可在我們的 gradio 瀏覽示範中查看回答及評審意見。

下一步

對話數據的發布

我們正逐步向更廣泛的研究社羣發布 Chatbot Arena 對話數據。請留意最新消息！

MT-bench-1K

MT-Bench 目前由一組精簡的 80 條精心整理的問題組成，以確保最高質素。 我們正積極擴充問題集，將 MT-Bench 擴展至 1K，方法是加入來自 Chatbot Arena 的高質素提示詞，並使用 LLM 自動生成新問題。 如果你有任何好點子，我們很樂意聽取你的意見。

合作邀請

我們正與不同機構合作，探討如何大規模標準化評估人類對 LLM 的偏好。 如果你對此感興趣，歡迎與我們聯絡。

目前已有大量有趣的研究，探討如何評估人類偏好，以及如何使用強大的 LLM 作為評估評審。 歡迎查閲以下研究，瞭解更多有關此議題的觀點：

• 使用 MT-Bench 和 Chatbot Arena 評判「LLM 作為評審」
• 基礎模型能像人類一樣標註數據嗎？
• 駱駝能走多遠？探索開放資源上的指令微調現狀
• 模仿專有 LLM 的虛假承諾
• AlpacaEval 和 AlpacaFarm
• 大型語言模型並非公平的評估者

連結

以下是可直接使用的工具和程式碼，可用來執行 MT-bench 及本篇網誌文章採用的其他指標：

• MT-bench 使用 fastchat.llm_judge，
• Arena Elo 計算器。
• MMLU 以 InstructEval 和 Chain-of-Thought Hub 為基礎。

如果你想在排行榜上查看更多模型，歡迎為 FastChat 作出貢獻，或聯絡我們以向我們提供 API 存取權限。