跳到正文
Hugging Face Blog·· 2024-10-24精選AI 評分68

Aya Expanse 深度解析:Cohere For AI 推進多語言模型表現的技術路徑

A Deepdive into Aya Expanse: Advancing the Frontier of Multilinguality

AI 導讀

Cohere For AI 發佈 Aya Expanse 8B 和 32B 開放權重模型,並公開多語言訓練流程的技術細節。

推薦理由

文章拆解多語言訓練中的模型池數據仲裁、離線與線上偏好訓練及模型合併流程,呈現改善多語言表現的具體技術路徑。

正文 · 繁體中文
這是 Cohere For AI 團隊撰寫的客席網誌文章。Cohere For AI 是 Cohere 的研究實驗室,致力解決複雜的機器學習問題。

隨著 Aya Expanse 系列推出,當中包括 8B 及 32B 參數模型,我們正應對 AI 最迫切的挑戰之一:缺乏足以媲美單語模型能力的高效能多語言模型。AI 雖然取得巨大進展,但不同語言之間的模型效能仍存在明顯差距。Aya Expanse 是 C4AI 多年專注研究的成果,涵蓋數據套利、多語言偏好訓練、安全微調及模型合併。

這些突破結合起來,令模型在多語言任務上的表現達到新的最先進水平。我們以多項評測測試模型,包括 Arena-Hard-Auto 數據集(論文);我們已將它翻譯成 23 種語言,並公開供其他人使用。在兩兩比較中,Aya Expanse 32B 勝過 Gemma 2 27B、Mistral 8x22B 及 Llama 3.1 70B;後者的規模超過它 2 倍,令其多語言表現創下新的最先進水平。我們亦公開Aya Expanse 8B,在同等參數級別中勝過 Gemma 2 9B、Llama 3.1 8B 及最新推出的 Ministral 8B 等領先開放權重模型,勝率介乎 60.4% 至 70.6%。在難度較低的評測中,我們觀察到的提升更大。

Aya Expanse 8B Win Rates Aya Expanse 8B Language Specific Win Rates vs Gemma 2 9B

我們以開放權重形式發布兩個模型,供研究社羣使用,並希望藉此進一步推動多語言研究。本文會分享訓練流程中各項關鍵演算法元件的技術細節。

Aya Expanse 32B win rates

避免合成數據造成模型崩塌

合成數據,即由專家或「教師」模型產生、用來訓練另一個模型的數據,對大型語言模型(LLM)的發展愈來愈重要,尤其是模型訓練已耗盡現有數據來源的情況下。然而,多語言數據,特別是低資源語言,缺乏優質的教師模型範例,令使用合成數據面對額外挑戰。此外,近期研究指出,過度依賴合成數據會導致模型崩塌。

我們在近期研究中證明,可透過「數據套利」應對這些限制,亦即從一組教師模型中策略性地抽取樣本。這種做法帶來重要啟示,因為它挑戰了過去依賴單一教師模型產生合成數據的傳統方式。相反,數據套利會利用一組模型之間的效能差異。這項技術適用於任何領域,但尤其適合多語言情境:由於沒有一個教師模型能在所有語言中都表現出色,要建立高質素的合成多語言數據集便面臨重大挑戰;在此情況下,多語言套利透過運用多元模型池,策略性地從數據分佈的不同部分抽樣,有助改善多語言生成結果。

我們首先為不同語言羣組訓練一組模型,並採用仲裁器評估和挑選最佳生成結果。此處的仲裁器是內部獎勵模型(RM),用來為模型生成結果評分。在獎勵式路由中,對於指定語言的每個提示,我們會從模型池中的所有模型生成答案,再用獎勵模型評分;得分最高的答案會成為該提示的最終答案。我們的 8B 模型在多語言套利訓練的監督式微調(SFT)階段,對 Gemma 2 9B 的勝率已較上一代 Aya 23提升超過 9.1%;這項結果證明,善用不同模型在各語言上的優勢確實有效。

Step by Step improvements in win rates against Gemma 2 9B

透過全域偏好逐步改進

完成監督式微調後,讓模型符合人類偏好是訓練當今最先進 LLM 的關鍵步驟。雖然偏好訓練已廣泛採用,但研究指出,單語情境下的偏好訓練本身已具挑戰。要在多語言情境中盡量發揮偏好訓練的效益,挑戰更大。現有偏好數據集絕大部分只有英文,而少數多語言偏好數據集的質素往往偏低。此外,同時為多種不同語言建模本身就是困難的最佳化問題;若只直接提升部分語言的表現,往往會令其他語言的表現倒退。

在LHF Can Speak Many Languages: Unlocking Multilingual Preference Optimization for LLMs一文中,我們運用一種新穎的合成數據生成技術建立高質素多語言偏好數據配對:把高效能多語言 LLM 以目標語言生成的答案,與較弱模型生成、再由英文翻譯而來的低質素答案作比較。這種方法令模型減少生成低質素多語言答案;這些答案往往帶有不理想的痕跡,例如劣質翻譯所造成的問題。我們證明,此方法能大幅提升所有語言的表現,亦往往能改善未納入偏好訓練數據的語言。

這項研究亦顯示,以線上數據進行偏好訓練勝過離線方式。不過,在訓練 Aya Expanse 時,我們發現先用離線數據進行偏好訓練,再用線上數據訓練,效果勝過單獨採用線上或離線訓練。在第一階段偏好訓練中,我們從套利階段整理的數據取出獎勵最高及最低的回答,分別作為偏好答案和不偏好答案;因此,第一階段的 DPO 訓練屬於離線訓練。

完成離線偏好訓練後,我們會執行線上迭代式 DPO:從上一輪訓練的模型為每個提示抽樣多個線上生成結果,使用獎勵模型為它們排序,再用這些偏好配對繼續訓練。兩個模型都會重複此流程 3 輪;我們發現超過 3 輪的額外收益很小,卻要重新調整正則化係數(beta)等參數,有時還會引發獎勵駭取行為。整體而言,Aya Expanse 8B 在套利訓練模型之上結合離線及線上偏好訓練,對 Gemma 2 9B 的勝率再提升 7.1%。

透過模型合併盡量提升效能

無論是隻有 SFT 一個階段,還是像上述流程般經過多階段最佳化,任何後訓練(及預訓練)流程都會反覆遇到同一問題:如何選擇合適的訓練數據混合方式。這項工作相當繁複,需要花大量工夫微調超參數和數據組合。合併多個模型則是另一種做法,可在降低整體計算成本的同時,支援複雜的多任務學習。Aya Expanse 直接建基於我們近期研究論文Mix Data or Merge Models? Optimizing for Diverse Multi-Task Learning的發現,在套利階段及每一輪偏好訓練中都採用模型合併。

若訓練多個獨立模型以便合併,便須盡量提高不同檢查點之間的多樣性;同時亦要確保模型池中的每個模型各自維持高效能。為平衡這兩個目標,我們讓不同語系的模型接受訓練,藉此提高檢查點之間的多樣性。這亦能利用跨語言遷移,通常可帶來顯著效能提升;而不同語言的差異亦足以令各檢查點有所區別。

最直接的做法是每種語言各自訓練一個模型,再合併,但這樣無法取得我們觀察到的跨語言遷移效益。為提升合併的穩健性,我們在每個羣組中加入部分共通語言(此處為英文、西班牙文及法文)。最終方案採用多個階段的合併流程,使用不同數據羣組訓練的模型,以及同一輪訓練中的檢查點。

除了加權線性平均,我們亦測試多種模型合併技術,包括 SLERP、TIES-merging 及 DARE-TIES。不過,加權平均是我們觀察到最穩定的方法,因此整個流程都採用加權平均。有趣的是,35B 規模的模型合併效益明顯高於 8B 規模,最多可達 3 倍。這與近期研究所指、模型合併在大規模時更有效的結果一致。

整合各項成果

Components

這些圖表展示我們端到端的後訓練流程,亦帶來前文提到的逐步提升。回顧 Aya 模型系列一路走來的進展,確實令人感到欣喜:系列最初由 Aya 101 和Aya Collection 推出,拓展了開源協作的界限;時至今日,我們持續推進重要的開放基礎研究問題,為多語言效能樹立新的標準。

Combined

鳴謝

這項工作有賴 Aya Expanse 核心團隊,謹此致謝:Madeline Smith、Marzieh Fadaee、Ahmet Üstün、Beyza Ermis、Sara Hooker、John Dang、Shivalika Singh、Arash Ahmadian、Daniel D'souza、Alejandro Salamanca、Aidan Peppin、Arielle Bailey、Meor Amer、Sungjin Hong、Manoj Govindassamy、Sandra Kublik。

此外,Cohere For AI 及 Cohere 團隊的其他成員亦功不可沒。特別感謝 Acyr Locatelli、Adrien Morisot、Jon Ander Campos、Sara Elsharkawy、Eddie Kim、Julia Kreutzer、Nick Frosst、Aidan Gomez、Ivan Zhang。

也衷心感謝研究社羣:來自世界各地、參與這次發布的 220 位語言大使。亦感謝 Sree Harsha Nelaturu、Bhavnick Minhas、Christopher Klamm、Isabella Bicalho Frazeto,他們為 Hugging Face 模型頁面撰寫了可供查閲的 notebooks。

特別感謝 Hugging Face 協助促成此事:Omar Sanseviero、Pedro Cuenca、Vaibhav Srivastav、Lysandre Debut、Aritra Roy Gosthipaty。

參考資料

來源:Hugging Face Blog · huggingface.co