跳到正文
Hugging Face Blog·· 2024-04-29精選AI 評分67

StarCoder2-15B-Instruct-v0.1 採用全透明、寬鬆授權的程式碼生成自對齊流程

StarCoder2-Instruct: Fully Transparent and Permissive Self-Alignment for Code Generation

AI 導讀

StarCoder2-15B-Instruct-v0.1 採用全透明、寬鬆授權的自對齊流程訓練,未使用人工標註或大型專有 LLM 的蒸餾數據。流程以 StarCoder2-15B 從 The Stack V1 的種子函數生成指令,並透過沙箱執行測試篩選回答,最終形成包含 50k 組指令與回答的 SFT 數據集。

推薦理由

文章梳理了從 The Stack V1 種子函數生成指令,再以執行測試篩選回答的自對齊流程,説明程式碼模型如何利用自身生成數據進行微調。

正文 · 繁體中文

StarCoder2-Instruct

指令微調是一種微調方法,能讓大型語言模型(LLM)具備遵循自然語言和人類撰寫指令的能力。然而,針對程式設計任務,大部分模型不是以人類撰寫的指令(成本非常高)進行微調,就是使用大型專有 LLM 生成的指令(可能不獲授權)。我們推出 StarCoder2-15B-Instruct-v0.1,這是首個完全自我對齊、以全開放授權和透明流程訓練的程式碼 LLM。我們的開源流程使用 StarCoder2-15B 生成數千組指令和回應,再用這些數據微調 StarCoder-15B 本身,過程中不需要任何人工標註,也不會蒸餾大型專有 LLM 的數據。

StarCoder2-15B-Instruct 的 HumanEval 分數達 72.6,甚至高於 CodeLlama-70B-Instruct 的 72.0!在 LiveCodeBench 上進一步評估後發現,自我對齊模型的表現甚至優於使用 GPT-4 蒸餾數據訓練的同一模型,顯示 LLM 從自身分佈內的數據學習,可能比從教師 LLM 所提供、分佈有偏移的數據學得更有效。

方法

Method

我們的數據生成流程主要分為三個步驟:

  1. 從 The Stack v1 這個大型、採用寬鬆授權的原始碼語料庫中,抽取高質素且多元的種子函數。
  2. 根據種子函數中涵蓋的不同程式概念(例如數據反序列化、串接清單和遞迴),建立多元且貼近實際情境的程式碼指令。
  3. 每條指令都透過執行引導的自我驗證,生成高質素回應。

下文會逐一詳細探討這些環節。

收集種子程式碼片段

要充分發揮程式碼模型遵循指令的能力,必須讓模型接觸涵蓋廣泛程式原則和實務的多元指令。受 OSS-Instruct 啟發,我們進一步透過開源程式碼片段挖掘程式概念,具體而言,是從 The Stack V1 擷取格式良好的 Python 種子函數。

建立種子數據集時,我們仔細抽取 The Stack V1 中所有附有 docstring 的 Python 函數,使用 autoimport 推斷所需依賴項,並對所有函數套用以下篩選規則:

  1. 類型檢查:我們使用 Pyright 啟發式類型檢查器,剔除所有會產生靜態錯誤的函數,因為這可能表示項目有誤。
  2. 去污染:我們偵測並移除所有用作評估的基準項目,並對解答和提示詞進行完全字串比對。
  3. Docstring 質素篩選:我們以 StarCoder2-15B 作為評審,移除文件説明質素欠佳的函數。我們向基礎模型提供 7 個少量樣本範例,要求它回答「Yes」或「No」,決定是否保留該項目。
  4. 近似去重:我們使用 MinHash 和局部敏感雜湊,以 0.5 的 Jaccard 相似度門檻篩除重複的種子函數。這與 StarCoder 訓練數據所採用的相同流程。

這套篩選流程從 5M 個附有 docstring 的函數中,篩出 250k 個 Python 函數,形成數據集。這個流程深受 MultiPL-T 所用數據收集流程啟發。

Self-OSS-Instruct

收集種子函數後,我們使用 Self-OSS-Instruct 生成多元指令。具體而言,我們採用上下文學習,讓基礎模型 StarCoder2-15B 根據給定的種子程式碼片段自行生成指令。這個流程使用 16 個精心設計的少量樣本範例,每個都按 (snippet, concepts, instruction) 格式編排。指令生成分為兩個步驟:

  1. 抽取概念:對每個種子函數,提示 StarCoder2-15B 列出函數中包含的程式概念。程式概念是指程式設計所運用的基礎原則和技巧,例如模式比對和數據類型轉換,開發者必須熟練掌握這些概念。
  2. 生成指令:接著,提示 StarCoder2-15B 自行生成一項包含已識別程式概念的編碼任務。

最終,這個流程生成了 238k 條指令。

回應自我驗證

取得 Self-OSS-Instruct 生成的指令後,下一步是為每條指令配上高質素回應。以往常見做法是蒸餾更強教師模型(例如 GPT-4)的回應,因為這些回應理應質素較高。然而,蒸餾專有模型會導致授權不寬鬆,而且未必總能使用更強的教師模型。更重要的是,教師模型也可能出錯,而教師與學生模型之間的分佈差異可能造成負面影響。

我們提出讓 StarCoder2-15B 自我對齊:模型生成自然語言回應的同時,明確要求它產生測試以作自我驗證。這個流程與開發者測試程式碼實作相似。具體而言,StarCoder2-15B 會為每條指令生成 10 組 (NL Response, Test) 樣本,再在沙盒環境執行測試,篩除未能通過的樣本。之後,每條指令隨機選取一個通過測試的回應,加入最終 SFT 數據集。我們以温度 0.7,為 238k 條指令生成共 2.4M(10 x 238k)個回應,其中 500k 個通過執行測試。去重後,我們得到 50k 條指令,每條都配上一個隨機抽取且通過測試的回應,最終用作 SFT 數據集。

評估

在廣受採用且要求嚴格的 EvalPlus 基準測試中,StarCoder2-15B-Instruct 在同等規模的寬鬆授權 LLM 中表現最佳,勝過規模大得多的 Grok-1 Command-R+ 和 DBRX,同時與 Snowflake Arctic 480B 及 Mixtral-8x22B-Instruct 表現相近。據我們所知,StarCoder2-15B-Instruct 是首個採用完全透明、寬鬆授權流程,HumanEval 分數達 70+ 的程式碼 LLM。它大幅勝過 OctoCoder;OctoCoder 此前是採用透明流程、表現最佳的寬鬆授權程式碼 LLM。

即使與授權限制嚴格的強大 LLM 相比,StarCoder2-15B-Instruct 仍具競爭力,表現勝過 Gemini Pro 和 Mistral Large,並與 CodeLlama-70B-Instruct 相若。此外,純粹以自行生成數據訓練的 StarCoder2-15B-Instruct,表現亦與 OpenCodeInterpreter-SC2-15B 不相伯仲;後者以 GPT-3.5/4 蒸餾數據微調 StarCoder2-15B。

EvalPlus evaluation

除了 EvalPlus,我們亦在 LiveCodeBench 評估規模相近或更小的最先進開源模型。LiveCodeBench 包含在 2023-09-01 之後建立的最新程式問題;此外,我們也使用針對數據科學程式的 DS-1000。在 LiveCodeBench 上,StarCoder2-15B-Instruct 在受評估模型中成績最佳,並持續勝過以 GPT-4 數據蒸餾的 OpenCodeInterpreter-SC2-15B。在 DS-1000 上,儘管 StarCoder2-15B-Instruct 的數據科學訓練題目十分有限,仍具競爭力。

LCB and DS1000 evaluation

總結

StarCoder2-15B-Instruct-v0.1 首次展示了我們無須依賴 GPT-4 等更強教師模型,也能建立強大的指令微調程式碼模型。這個模型證明,自我對齊(即模型利用自行生成的內容學習)對程式碼同樣有效。整個流程完全透明並允許蒸餾,與 Snowflake-Arctic、Grok-1、Mixtral-8x22B、DBRX 和 CommandR+ 等規模更大、授權寬鬆但流程不透明的模型有所不同。我們已將數據集和整套流程全面開源,包括數據整理和訓練。我們希望這項開創性研究能啟發此領域更多未來研究與開發。

資源

引用

@article{wei2024selfcodealign,
  title={SelfCodeAlign: Self-Alignment for Code Generation}, 
  author={Yuxiang Wei and Federico Cassano and Jiawei Liu and Yifeng Ding and Naman Jain and Zachary Mueller and Harm de Vries and Leandro von Werra and Arjun Guha and Lingming Zhang},
  year={2024},
  journal={arXiv preprint arXiv:2410.24198}
}

來源:Hugging Face Blog · huggingface.co