Chatbot Arena：以 Elo 評分在真實使用情境中評測大語言模型

我們推出了 Chatbot Arena，這是一個大型語言模型（LLM）基準測試平台，採用眾包方式進行匿名、隨機配對的對戰。在這篇網誌文章中，我們發布初步結果，以及根據 Elo 評分制度製作的排行榜。Elo 評分制度廣泛應用於國際象棋及其他競技遊戲。我們邀請整個社羣參與這項工作，貢獻新模型，並透過提問及投票選出最喜歡的答案，為模型評估。

表 1. LLM 排行榜（時間範圍：2023 年 4 月 24 日至 5 月 1 日）。最新及詳細版本請見此處。

排名	模型	Elo 評分	描述
1	🥇 vicuna-13b	1169	由 LMSYS 根據用戶分享的對話，使用 LLaMA 微調而成的聊天助理
2	🥈 koala-13b	1082	由 BAIR 推出的學術研究對話模型
3	🥉 oasst-pythia-12b	1065	由 LAION 推出的 Open Assistant，供所有人使用
4	alpaca-13b	1008	由 Stanford 根據遵循指令的示範，使用 LLaMA 微調而成的模型
5	chatglm-6b	985	由清華大學推出的開放式雙語對話語言模型
6	fastchat-t5-3b	951	由 LMSYS 使用 FLAN-T5 微調而成的聊天助理
7	dolly-v2-12b	944	由 Databricks 推出的經指令微調開放大型語言模型
8	llama-13b	932	Meta 推出的開放、高效基礎語言模型
9	stablelm-tuned-alpha-7b	858	Stability AI 語言模型

表 1 列出九個熱門模型的 Elo 評分，評分根據 4.7K 份投票數據及這份筆記簿中分享的計算結果得出。你也可以試用投票示範。

圖 1. 並排聊天及投票介面。

請注意，我們會定期發布網誌文章，更新排行榜。歡迎查看以下更新：

引言

ChatGPT 大獲成功後，大量開源大型語言模型相繼湧現，並經微調以遵循指令。這些模型能夠回應用戶的問題／提示詞，提供有用的協助。知名例子包括以 LLaMA 為基礎的 Alpaca 和 Vicuna，以及以 Pythia 為基礎的 OpenAssistant 和 Dolly。

儘管每週都有新模型不斷推出，社羣仍面對如何有效評測這些模型的挑戰。評測 LLM 助理極具挑戰，因為問題可以是開放式的，而且要編寫程式自動評估回答質素十分困難。在這種情況下，我們通常需要依靠基於成對比較的人手評估。

以成對比較為基礎的優良基準測試系統，應具備以下特點：

可擴展性。當無法為所有可能的模型配對收集足夠數據時，系統仍應能擴展至大量模型。
增量性。系統應能以相對少量的試驗評估新模型。
唯一排序。系統應為所有模型提供唯一的排名順序。對於任意兩個模型，我們應能判斷哪個排名較高，或兩者是否並列。

現有的 LLM 基準測試系統很少能同時滿足上述所有特性。傳統的 LLM 基準測試框架，例如 HELM 和 lm-evaluation-harness，會針對學術研究常用的任務提供多項指標測量。然而，這些框架並非以成對比較為基礎，也不擅長評估開放式問題。OpenAI 亦推出了 evals 專案，以收集更好的問題，但這個專案沒有為所有參與模型提供排名機制。我們推出 Vicuna 模型時，採用了以 GPT-4 為基礎的評估流程，但它無法提供可擴展、可逐步更新的評分方案。

在這篇網誌文章中，我們介紹 Chatbot Arena：一個以眾包方式進行匿名隨機對戰的 LLM 基準測試平台。Chatbot Arena 採用 Elo 評分系統，這是廣泛應用於國際象棋及其他競技遊戲的評分系統。Elo 評分系統有望滿足上述所需特性。我們留意到，Anthropic 的 LLM 論文也採用了 Elo 評分系統。

一星期前，我們推出了 Arena，讓用戶測試數款熱門開源 LLM。在 Arena 中，用戶可以與兩個匿名模型並排聊天，並投票選出較好的模型。這種眾包資料收集方式反映了 LLM 在真實環境中的一些使用情境。表 2 展示了幾種評估方法的比較。

表 2：不同評估方法的比較。

	HELM / lm-evaluation-harness	OpenAI/eval	Alpaca Evaluation	Vicuna Evaluation	Chatbot Arena
問題來源	學術數據集	混合	Self-instruct 評估集	由 GPT-4 生成	用戶提示詞
評估者	程式	程式／模型	人類	GPT-4	用戶
評估指標	基本指標	基本指標	勝率	勝率	Elo 評分

資料收集

我們透過多模型服務系統 FastChat，在 https://lmarena.ai 上架設了 Arena。用戶進入 Arena 後，可以與兩個匿名模型並排聊天，如圖 1 所示。收到兩個模型的回覆後，用戶可以繼續聊天，或投票選出自己認為較好的模型。提交投票後，模型名稱便會顯示。用戶可以繼續聊天，或重新開始一場由兩個隨機挑選的匿名模型參與的新對戰。平台會記錄所有用戶互動。在分析中，我們只採用模型名稱仍隱藏時收到的投票。

Arena 約於一星期前推出，截至目前，我們已收集 4.7k 張有效的匿名投票。我們在這份筆記本中分享一些探索性分析，並在此簡述主要內容。

圖 2：各模型組合的對戰次數

圖 2 顯示各模型組合的對戰次數。最初推出競賽時，我們根據基準測試結果，預先掌握模型可能的排名，因此按排名安排模型對戰。我們優先安排了根據排名推測較具競爭力的對戰組合。不過，為了更全面地涵蓋各個排名，之後我們改用均勻抽樣。在競賽接近尾聲時，我們亦加入了一個新模型 fastchat-t5-3b。這些因素都令各模型的出現頻率不均。

圖 3：排名前 15 種語言的對戰次數。

圖 3 顯示語言分佈，大部分用戶提示詞都是英文。

Elo 評分系統

Elo 評分系統是一種計算玩家相對技術水平的方法，廣泛應用於競技遊戲和體育運動。兩名玩家的評分差距可用來預測比賽結果。Elo 評分系統適用於我們的情況，因為我們有多個模型，並會讓它們進行兩兩對戰。

若玩家 A 的評分為 Ra，玩家 B 的評分為 Rb，則玩家 A 獲勝機率的精確公式（使用底數為 10 的邏輯斯蒂曲線）為

玩家的評分可在每場對戰後線性更新。假設玩家 A（評分為 Ra）預期得分為 Ea，但實際得分為 Sa。更新該玩家評分的公式為

利用收集到的數據，我們在這個筆記本中計算模型的 Elo 評分，並在表 1 列出主要結果。歡迎你自行試用這個筆記本，探索投票數據。這些數據只包含投票結果，不包括對話紀錄，因為公開對話紀錄可能引起私隱和有害內容等疑慮。

兩兩對戰勝率

作為校準的基礎，我們也列出錦標賽中各模型的兩兩對戰勝率（圖 4），以及根據 Elo 評分估算的預測兩兩對戰勝率（圖 5）。比較這些圖表後，我們發現 Elo 評分能相對準確地預測勝率。

圖 4：所有 A 對 B 的非平手對戰中，Model A 獲勝的比例。

圖 5：根據 Elo 評分預測的 Model A 在 A 對 B 對戰中的勝率

未來計劃

我們計劃進行以下工作：

加入更多閉源模型（匿名 Arena 現已提供 ChatGPT-3.5、ChatGPT-4 和 Claude-v1）
加入更多開源模型
定期更新排行榜（例如每月更新）
實作更佳的抽樣演算法、錦標賽機制和服務系統，以支援數量多得多的模型
提供不同任務類型的細分排名。

我們期待收到你的意見，讓 Arena 變得更好。

加入我們

我們邀請整個社羣參與這項基準測試工作，提交你們的模型，並為你們認為答案較佳的匿名模型投票。你可以前往 https://lmarena.ai，為表現較佳的模型投票。如果你希望在 Arena 中看到某個特定模型，可以按照這份指南協助我們將它加入。

致謝

我們感謝 Vicuna 團隊其他成員提供寶貴意見，也感謝 MBZUAI 捐贈計算資源。此外，我們亦感謝 Tianjun Zhang 和 Eric Wallace 參與深入討論。

連結

示範：https://lmarena.ai
排行榜：https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard
GitHub：https://github.com/lm-sys/FastChat
Colab 筆記本：https://colab.research.google.com/drive/1RAWb22-PFNI-X1gPVzc927SGUdfr6nsR?usp=sharing

引用

如果你認為我們的研究有用，請引用以下論文。

@misc{chiang2024chatbot,
    title={Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference},
    author={Wei-Lin Chiang and Lianmin Zheng and Ying Sheng and Anastasios Nikolas Angelopoulos and Tianle Li and Dacheng Li and Hao Zhang and Banghua Zhu and Michael Jordan and Joseph E. Gonzalez and Ion Stoica},
    year={2024},
    eprint={2403.04132},
    archivePrefix={arXiv},
    primaryClass={cs.AI}
}

@inproceedings{zheng2023judging,
    title={Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena},
    author={Lianmin Zheng and Wei-Lin Chiang and Ying Sheng and Siyuan Zhuang and Zhanghao Wu and Yonghao Zhuang and Zi Lin and Zhuohan Li and Dacheng Li and Eric Xing and Hao Zhang and Joseph E. Gonzalez and Ion Stoica},
    booktitle={Thirty-seventh Conference on Neural Information Processing Systems Datasets and Benchmarks Track},
    year={2023},
    url={https://openreview.net/forum?id=uccHPGDlao}
}

@inproceedings{zheng2024lmsyschatm,
    title={LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset},
    author={Lianmin Zheng and Wei-Lin Chiang and Ying Sheng and Tianle Li and Siyuan Zhuang and Zhanghao Wu and Yonghao Zhuang and Zhuohan Li and Zi Lin and Eric Xing and Joseph E. Gonzalez and Ion Stoica and Hao Zhang},
    booktitle={The Twelfth International Conference on Learning Representations},
    year={2024},
    url={https://openreview.net/forum?id=BOfDKxfwt0}
}