跳到正文
Hugging Face Blog·· 2024-02-28精選AI 評分72

BigCode 發佈 StarCoder2 模型系列及 The Stack v2 程式碼數據集

StarCoder2 and The Stack v2

AI 導讀

BigCode 發佈 StarCoder2 開放程式碼大語言模型系列,提供 3B、7B 和 15B 三種規模。其中,StarCoder2-15B 使用 The Stack v2 的 4+ trillion tokens 訓練,涵蓋 600+ 程式語言。

推薦理由

StarCoder2 同步公開模型、The Stack v2 數據集及訓練程式碼,並按倉庫組織訓練資料,呈現程式碼模型與數據建設的完整鏈路。

正文 · 繁體中文

StarCoder2

BigCode 正在推出新一代以透明方式訓練的開放程式碼大型語言模型 StarCoder2。所有 StarCoder2 版本均以全新、大型且高質素的程式碼資料集 The Stack v2 訓練。我們會公開所有模型、資料集、資料處理程式碼及訓練程式碼。詳情請參閲論文。

甚麼是 StarCoder2?

StarCoder2 是一系列開放程式碼大型語言模型,共有 3 種規模,分別具備 3B、7B 和 15B 參數。旗艦型號 StarCoder2-15B 以 The Stack v2 中逾 4 萬億 tokens 和 600 多種程式語言資料訓練。所有模型均採用 Grouped Query Attention、16,384 tokens 上下文窗口和 4,096 tokens 滑動窗口注意力,並以 Fill-in-the-Middle 目標進行訓練。

StarCoder2 提供三種規模:ServiceNow 訓練的 3B 參數模型、Hugging Face 訓練的 7B 參數模型,以及 NVIDIA 使用 NVIDIA NeMo 在 NVIDIA 加速基礎設施上訓練的 15B 參數模型:

  • StarCoder2-3B 以 The Stack v2 中 17 種程式語言的資料訓練,使用超過 3 萬億 tokens。
  • StarCoder2-7B 以 The Stack v2 中 17 種程式語言的資料訓練,使用超過 3.5 萬億 tokens。
  • StarCoder2-15B 以 The Stack v2 中 600 多種程式語言的資料訓練,使用超過 4 萬億 tokens。

StarCoder2-15B 在同級模型中表現最佳,在多項評估中可媲美 33B 以上的模型。StarCoder2-3B 的表現則媲美 StarCoder1-15B:

StarCoder2 Evaluation

甚麼是 The Stack v2?

The Stack v2

The Stack v2 是最適合大型語言模型預訓練的開放程式碼資料集。The Stack v2 的規模比 The Stack v1 更大,改良了語言和授權偵測程序及過濾準則。此外,訓練資料集按儲存庫分組,讓模型可利用儲存庫上下文進行訓練。

The Stack v1 The Stack v2
完整資料 6.4TB 67.5TB
去重後 2.9TB 32.1TB
訓練資料集 ~200B tokens ~900B tokens

這個資料集取材自 Software Heritage 檔案庫;它是全球最大的公開軟件原始碼及相關開發歷史檔案庫。Software Heritage 由 Inria 與 UNESCO 合作成立,是一項開放、非牟利計劃,旨在收集、保存並分享所有公開軟件的原始碼。感謝 Software Heritage 提供這項珍貴資源。如欲瞭解詳情,請瀏覽 Software Heritage 網站。

你可透過 Hugging Face Hub 取得 The Stack v2。

關於 BigCode

BigCode 是由 Hugging Face 和 ServiceNow 共同領導的開放科學協作計劃,致力負責任地開發程式碼大型語言模型。

連結

模型

資料與治理

其他

所有資源和連結均可在 huggingface.co/bigcode 找到!

來源:Hugging Face Blog · huggingface.co