Vicuna-13B 開源聊天機械人推出，GPT-4 初步評測稱其質素達 ChatGPT 的 90%*

我們推出 Vicuna-13B，這是一款開源聊天機械人，透過使用從 ShareGPT 收集的用戶分享對話微調 LLaMA 訓練而成。以 GPT-4 作為評審的初步評估顯示，Vicuna-13B 的質素達到 OpenAI ChatGPT 和 Google Bard 的 90% 以上*，而且在超過 90%^* 的情況下，表現優於 LLaMA 和 Stanford Alpaca 等其他模型。訓練 Vicuna-13B 的成本約為 $300。程式碼和權重，以及線上示範版，均已公開供非商業用途。

Vicuna（由 stable diffusion 2.1 生成）

*根據一次有趣但不具科學性的 GPT-4 評估。仍需進一步嚴謹評估。

Vicuna 表現如何？

使用 70K 段用戶分享的 ChatGPT 對話微調 Vicuna 後，我們發現與 Alpaca 相比，Vicuna 能夠生成更詳細、結構更完善的答案（見下方例子），質素亦與 ChatGPT 相若。

然而，評估聊天機械人從來不是一件簡單的事。 隨着 GPT-4 近期取得進展，我們好奇它的能力是否已達到近似人類的水平，足以支援自動化評估框架，用於生成基準測試及評估表現。 我們的初步發現顯示，GPT-4 在比較聊天機械人的答案時，能提供高度一致的排名和詳細評估（見上方 GPT-4 評判的例子）。 根據 GPT-4 的初步評估（彙整於圖 1），Vicuna 的能力達到 Bard/ChatGPT 的 90%^*。 雖然這個建議的框架顯示出自動化評估聊天機械人的潛力，但目前仍不是一種嚴謹的方法。 建立聊天機械人評估系統仍是有待進一步研究的開放問題。更多詳情請參閲評估部分。

圖 1。 GPT-4* 評估的相對回覆質素

線上示範版

立即在此試用 Vicuna-13B 示範版！

概覽

大型語言模型（LLM）的迅速發展革新了聊天機械人系統，OpenAI 的 ChatGPT 展現出前所未有的智能水平。然而，儘管 ChatGPT 表現出色，其訓練及架構細節仍未明朗，阻礙了這個領域的研究和開源創新。受 Meta LLaMA 和 Stanford Alpaca 專案啟發，我們推出 Vicuna-13B。這是一款開源聊天機械人，採用經改良的數據集，並以易用且可擴展的基礎設施支援。Vicuna-13B 使用從 ShareGPT.com 收集的用戶分享對話，對 LLaMA 基礎模型進行微調；與 Stanford Alpaca 等其他開源模型相比，表現具競爭力。這篇網誌文章初步評估 Vicuna-13B 的表現，並介紹其訓練及提供服務的基礎設施。我們亦邀請社羣試用線上示範版，測試這款聊天機械人的能力。

圖 2。 工作流程概覽

圖 2 概述了我們的工作。首先，我們從 ShareGPT.com 收集了約 70K 段對話。這個網站讓用戶分享自己的 ChatGPT 對話。接着，我們改良了 Alpaca 提供的訓練指令碼，以更妥善處理多輪對話及長序列。我們使用 PyTorch FSDP，在 8 張 A100 GPU 上於一天內完成訓練。為示範版提供服務時，我們實作了一套輕量級分散式服務系統。我們建立了一組包含 80 條不同問題的題目，並利用 GPT-4 評判模型輸出，初步評估模型質素。為比較兩個不同模型，我們會將兩個模型對每條問題的輸出合併成同一個提示詞，再把提示詞傳送給 GPT-4，由它評估哪個模型的回應較佳。下方表 1 詳細比較了 LLaMA、Alpaca、ChatGPT 和 Vicuna。

表 1. 數個知名模型的比較

訓練

Vicuna 是透過微調 LLaMA 基礎模型建立的，使用的訓練資料是透過公開 API 從 ShareGPT.com 收集的約 70K 段用戶分享對話。為確保資料質素，我們將 HTML 轉回 Markdown，並篩走部分不恰當或質素欠佳的樣本。此外，我們會將過長的對話分成較短的片段，以符合模型的最大上下文長度。

我們的訓練方案以 Stanford’s alpaca 為基礎，並作出以下改良。

• 多輪對話：我們調整訓練損失，以處理多輪對話，並只根據聊天機械人的輸出計算微調損失。
• 記憶體最佳化：為令 Vicuna 能理解較長的上下文，我們將最大上下文長度由 alpaca 的 512 增至 2048，令 GPU 記憶體需求大幅增加。我們透過使用 梯度檢查點和 flash attention，減輕記憶體壓力。
• 利用 Spot Instance 降低成本：數據集規模增加 40 倍，訓練序列長度增加 4 倍，令訓練成本面臨相當大的挑戰。我們採用 SkyPilot managed spot，利用成本較低的現貨執行個體，並支援遭搶佔時自動復原及自動切換區域，從而降低成本。這個方案將 7B 模型的訓練成本由$500大幅降至約$140，並將 13B 模型的訓練成本由約$1K降至$300。

服務

我們建立了一套服務系統，能透過分散式工作節點為多個模型提供服務。系統支援靈活地接入本地叢集和雲端的 GPU 工作節點。透過採用具容錯能力的控制器，以及 SkyPilot 的 managed spot 功能，這套服務系統能配合使用多個雲端較便宜的現貨執行個體，降低服務成本。目前這仍是輕量級實作，我們正努力將更多最新的研究整合其中。

如何評估聊天機械人？

評估 AI 聊天機械人是一項具挑戰性的工作，因為這需要檢視語言理解、推理及情境理解能力。隨着 AI 聊天機械人日益先進，現有的開放式基準測試可能已不足以應付需求。例如，Stanford 的 Alpaca 所用的評估數據集 self-instruct，SOTA 聊天機械人已能有效作答，令人工難以分辨不同模型的表現。其他限制還包括訓練／測試數據污染，以及建立新基準測試可能涉及的高昂成本。為解決這些問題，我們提出一套以 GPT-4 為基礎的評估框架，自動評估聊天機械人的表現。

首先，我們設計了八類問題，例如費米問題、角色扮演情境，以及編碼／數學任務，以測試聊天機械人表現的不同方面。透過仔細設計提示詞，GPT-4 能夠生成多樣且具挑戰性的問題，令基線模型難以作答。我們從每個類別選出十條問題，並收集五款聊天機械人的答案：LLaMA、Alpaca、ChatGPT、Bard 及 Vicuna。接着，我們請 GPT-4 根據有用程度、相關性、準確度及詳盡程度，為答案的質素評分。我們發現，GPT-4 不但能給出相對一致的分數，還能詳細解釋評分原因（詳細例子請參閲連結）。不過，我們亦發現 GPT-4 不太擅長評判編碼／數學任務。

圖 3。 GPT-4 評估的回答比較

圖 3 顯示所有基線模型與 Vicuna 的比較結果。在超過 90% 的問題中，GPT-4 更偏好 Vicuna，而非最先進的開源模型（LLaMA、Alpaca）；與專有模型（ChatGPT、Bard）相比，Vicuna 的表現亦具競爭力。在 45% 的問題中，GPT-4 評定 Vicuna 的回答優於或等同 ChatGPT 的回答。 由於 GPT-4 以 10 分制為每個回答評分，我們把每組（基線模型、Vicuna）比較中兩款模型在 80 條問題所得的分數相加，計算總分。如表 2 所示，Vicuna 的總分是 ChatGPT 的 92%。儘管近期有所進展，這些聊天機械人仍有侷限，例如難以解答基本數學問題，或編碼能力有限。

表 2. GPT-4 評估的總分。

雖然這套評估框架展示了評估聊天機械人的潛力，但它尚未成為嚴謹或成熟的方法，因為大型語言模型容易產生幻覺。如何為聊天機械人建立全面、標準化的評估系統，仍是有待進一步研究的開放問題。

更新：這篇網誌文章發佈後，我們對這套以 GPT4 為基礎的評估方法作了更深入的研究。歡迎閲讀我們的新論文 Judging LLM-as-a-judge paper，並試用新的評估工具。

限制

我們注意到，與其他大型語言模型相似，Vicuna 有某些限制。例如，它不擅長推理或數學相關任務，在準確辨識自身或確保輸出內容的事實準確性方面亦可能有所侷限。此外，模型尚未經過充分最佳化，無法確保安全或減低潛在的毒性或偏見。為應對安全問題，我們在網上示範版中使用 OpenAI 內容審核 API，過濾不適當的用戶輸入。儘管如此，我們預期 Vicuna 可作為開放的起點，供未來研究用以應對這些限制。

發佈

首次發佈時，我們會在 GitHub 儲存庫分享訓練、服務及評估程式碼：https://github.com/lm-sys/FastChat。 我們亦已發佈 Vicuna-13B 模型的權重。 我們沒有計劃發佈數據集。加入我們的 Discord 伺服器，並追蹤我們的 Twitter 帳戶，以獲取最新動態。

授權條款

網上示範版是研究預覽版，僅供非商業用途，並須遵守 LLaMA 的模型授權條款、OpenAI 生成資料的使用條款，以及 ShareGPT 的私隱做法。如發現任何可能的違規情況，請聯絡我們。 程式碼以 Apache License 2.0 授權發佈。

鳴謝

我們感謝 BAIR 的 Xinyang Geng、Hao Liu 和 Eric Wallace，以及 Stanford Alpaca 團隊的 Xuecheng Li 和 Tianyi Zhang，提供精闢的討論和意見；亦感謝 MBZUAI 的 Qirong Ho 為服務叢集提供支援。請參閲 BAIR 有關其聊天機械人 Koala 同期工作的網誌文章。

團隊

這是多間院校合作完成的項目，參與者包括 UC Berkeley、CMU、Stanford、UC San Diego 和 MBZUAI。

• 學生（按字母順序）： Wei-Lin Chiang、Zhuohan Li、Zi Lin、Ying Sheng、Zhanghao Wu、Hao Zhang (✉)、Lianmin Zheng (✉)、Siyuan Zhuang、Yonghao Zhuang
• 顧問（按字母順序）： Joseph E. Gonzalez、Ion Stoica、Eric P. Xing

✉ 通訊聯絡： Lianmin Zheng（lianminzheng@gmail.com）、Hao Zhang（sjtu.haozhang@gmail.com）或 LMSYS（lmsys.org@gmail.com）。

引用

@misc{vicuna2023,
    title = {Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90\%* ChatGPT Quality},
    url = {https://lmsys.org/blog/2023-03-30-vicuna/},
    author = {Chiang, Wei-Lin and Li, Zhuohan and Lin, Zi and Sheng, Ying and Wu, Zhanghao and Zhang, Hao and Zheng, Lianmin and Zhuang, Siyuan and Zhuang, Yonghao and Gonzalez, Joseph E. and Stoica, Ion and Xing, Eric P.},
    month = {March},
    year = {2023}
}

這篇網誌文章發佈後，我們進一步發展以 GPT-4 為基礎的評估構想，並撰寫了一篇較正式的論文，系統地研究「LLM-as-a-judge」這種方法。 歡迎閲讀並引用這篇論文：
使用 MT-Bench 和 Chatbot Arena 評估「LLM-as-a-judge」。