BigCode 發佈 StarCoder2 模型系列及 The Stack v2 程式碼數據集
StarCoder2 and The Stack v2
BigCode 發佈 StarCoder2 開放程式碼大語言模型系列,提供 3B、7B 和 15B 三種規模。其中,StarCoder2-15B 使用 The Stack v2 的 4+ trillion tokens 訓練,涵蓋 600+ 程式語言。
StarCoder2 同步公開模型、The Stack v2 數據集及訓練程式碼,並按倉庫組織訓練資料,呈現程式碼模型與數據建設的完整鏈路。
BigCode 正在推出新一代以透明方式訓練的開放程式碼大型語言模型 StarCoder2。所有 StarCoder2 版本均以全新、大型且高質素的程式碼資料集 The Stack v2 訓練。我們會公開所有模型、資料集、資料處理程式碼及訓練程式碼。詳情請參閲論文。
甚麼是 StarCoder2?
StarCoder2 是一系列開放程式碼大型語言模型,共有 3 種規模,分別具備 3B、7B 和 15B 參數。旗艦型號 StarCoder2-15B 以 The Stack v2 中逾 4 萬億 tokens 和 600 多種程式語言資料訓練。所有模型均採用 Grouped Query Attention、16,384 tokens 上下文窗口和 4,096 tokens 滑動窗口注意力,並以 Fill-in-the-Middle 目標進行訓練。
StarCoder2 提供三種規模:ServiceNow 訓練的 3B 參數模型、Hugging Face 訓練的 7B 參數模型,以及 NVIDIA 使用 NVIDIA NeMo 在 NVIDIA 加速基礎設施上訓練的 15B 參數模型:
- StarCoder2-3B 以 The Stack v2 中 17 種程式語言的資料訓練,使用超過 3 萬億 tokens。
- StarCoder2-7B 以 The Stack v2 中 17 種程式語言的資料訓練,使用超過 3.5 萬億 tokens。
- StarCoder2-15B 以 The Stack v2 中 600 多種程式語言的資料訓練,使用超過 4 萬億 tokens。
StarCoder2-15B 在同級模型中表現最佳,在多項評估中可媲美 33B 以上的模型。StarCoder2-3B 的表現則媲美 StarCoder1-15B:
甚麼是 The Stack v2?
The Stack v2 是最適合大型語言模型預訓練的開放程式碼資料集。The Stack v2 的規模比 The Stack v1 更大,改良了語言和授權偵測程序及過濾準則。此外,訓練資料集按儲存庫分組,讓模型可利用儲存庫上下文進行訓練。
| The Stack v1 | The Stack v2 | |
|---|---|---|
| 完整資料 | 6.4TB | 67.5TB |
| 去重後 | 2.9TB | 32.1TB |
| 訓練資料集 | ~200B tokens | ~900B tokens |
這個資料集取材自 Software Heritage 檔案庫;它是全球最大的公開軟件原始碼及相關開發歷史檔案庫。Software Heritage 由 Inria 與 UNESCO 合作成立,是一項開放、非牟利計劃,旨在收集、保存並分享所有公開軟件的原始碼。感謝 Software Heritage 提供這項珍貴資源。如欲瞭解詳情,請瀏覽 Software Heritage 網站。
你可透過 Hugging Face Hub 取得 The Stack v2。
關於 BigCode
BigCode 是由 Hugging Face 和 ServiceNow 共同領導的開放科學協作計劃,致力負責任地開發程式碼大型語言模型。
連結
模型
- 論文:StarCoder2 和 The Stack v2 的技術報告。
- GitHub:StarCoder2 的使用及微調指南。
- StarCoder2-3B:StarCoder2 小型模型。
- StarCoder2-7B:StarCoder2 中型模型。
- StarCoder2-15B:StarCoder2 大型模型。
資料與治理
- StarCoder2 授權協議:模型採用 BigCode OpenRAIL-M v1 授權協議。
- StarCoder2 Search:在預訓練資料集中全文搜尋程式碼。
- StarCoder2 Membership Test:極速檢查某段程式碼是否曾出現在預訓練資料集中。
其他
- VSCode 擴充功能:使用 StarCoder 編寫程式碼!
- Big Code Models 排行榜
所有資源和連結均可在 huggingface.co/bigcode 找到!
來源:Hugging Face Blog · huggingface.co