Cosmopedia 如何構建用於大語言模型預訓練的大規模合成數據
Cosmopedia: how to create large-scale synthetic data for pre-training Large Language Models
Hugging Face 發佈 Cosmopedia,這套合成數據集旨在重現 Phi-1.5 的訓練數據,供大語言模型預訓練使用。
文章拆解 Cosmopedia 從種子資料、提示詞擴展到去污染與訓練的流程,並交代如何藉由受眾和文體變化擴大提示詞規模。
本文概述如何克服各項挑戰、生成含數十億 token 的合成資料集,以重現 Phi-1.5,並最終建立 Cosmopedia。合成資料已成為機器學習的重要議題,指以人工方式生成的資料,例如由大型語言模型(LLM)生成,用以模擬真實世界資料。
傳統上,建立監督式微調和指令微調資料集,需要聘請人類標註員,既昂貴又耗時。這項做法需要大量資源,令此類資料集的開發侷限於業界少數主要參與者。然而,近來情況已有改變。我們看到社羣主要使用 GPT-3.5 和 GPT-4,建立了數以百計的高質素合成微調資料集。社羣亦透過大量出版物支援這項發展,指引不同領域的製作流程,並探討相關挑戰 [1][2][3][4][5]。

圖 1. Hugging Face Hub 上標記為 synthetic 的資料集數量。
不過,本文並非另一篇探討如何生成合成指令微調資料集的文章,因為社羣已深入研究這個主題。我們聚焦於如何將樣本規模由數千擴展至數百萬,以供從零開始預訓練 LLM。這帶來一系列獨特挑戰。
為何要建立 Cosmopedia?
Microsoft 透過 Phi 模型系列 [6][7][8] 推動了這個領域;這些模型主要以合成資料訓練,表現超越了在網絡資料集上訓練更久的大型模型。Phi-2 在過去一個月下載超過 617k 次,也是 Hugging Face Hub 上最受歡迎的 20 個模型之一。
Phi 模型的技術報告,例如 「教科書就是你所需的一切」論文,雖然説明瞭模型出色的表現和建立方式,卻沒有提供合成訓練資料集整理過程的大量細節。此外,資料集本身亦未有發布。這引發愛好者和懷疑者之間的討論:有人稱讚模型能力,批評者則認為模型或許只是過度擬合基準測試;更有人將以合成資料預訓練模型的做法標籤為「垃圾進,垃圾出」。然而,能完全控制資料生成流程並重現 Phi 模型的高效能,這個想法仍然吸引,值得探索。
這正是開發 Cosmopedia 的動機,目標是重現 Phi-1.5 使用的訓練資料。本文分享初步發現,並探討改善現有資料集的計劃。我們深入介紹資料集的建立方法,包括提示整理方式和技術堆疊。Cosmopedia 完全開放:我們發布端到端流程的程式碼、資料集,以及以此訓練、名為 cosmo-1b 的 1B 模型,讓社羣可重現結果並繼續發展。
Cosmopedia 背後的製作過程
除了 Phi 資料集建立過程資料不足,另一個缺點是它們使用專有模型生成資料。為解決這些不足,我們推出 Cosmopedia:一個包含合成教科書、網誌文章、故事、貼文和 WikiHow 文章的資料集,內容由 Mixtral-8x7B-Instruct-v0.1 生成。它包含超過 30 million 個檔案和 25 billion 個 token,是目前規模最大的開放合成資料集。
先提醒一下:如果你期待的是在數百張 H100 GPU 上部署大規模生成任務的故事,實際上 Cosmopedia 的大部分時間都花在細緻的提示工程上。
提示整理
生成合成資料看似直接,但擴大規模時,要維持對最佳效能至關重要的多樣性,挑戰會大幅增加。因此,整理涵蓋廣泛主題、盡量減少重複輸出的多元提示十分重要;我們不希望耗費運算資源生成數十億篇教科書,最後卻因內容彼此太相似而丟棄大部分。在數百張 GPU 啟動生成前,我們花了許多時間使用 HuggingChat 等工具反覆調整提示。本節會介紹如何為 Cosmopedia 建立超過 30 million 個提示,涵蓋數百個主題,並將重複內容控制在 1% 以下。
Cosmopedia 的目標是生成大量高質素合成資料,並廣泛涵蓋不同主題。根據 Phi-1.5 的技術報告,作者整理了 20,000 個主題,以生成 20 billion 個 token 的合成教科書,並使用網絡資料集樣本增加多樣性;報告指出:
我們仔細挑選了 20K 個主題,作為生成這批新合成資料的起點。在生成提示中,我們使用網絡資料集樣本來增加多樣性。
假設每個檔案平均長度為 1000 個 token,這表示大約需要 20 million 個不同提示。然而,如何結合主題和網絡樣本以提高多樣性,其方法仍未清楚説明。
我們結合兩種方式建立 Cosmopedia 的提示:以整理好的來源為條件,以及以網絡資料為條件。我們將所依據的資料來源稱為「種子資料」。

圖 2. 建立 Cosmopedia 提示所用資料來源的分佈(左圖),以及「整理來源」類別內各來源的分佈(右圖)。
整理好的來源
我們採用 Stanford 課程、Khan Academy、OpenStax 和 WikiHow 等可靠教育來源的主題。這些資源涵蓋許多對 LLM 學習有價值的主題。例如,我們擷取不同 Stanford 課程的大綱,並建立提示,要求模型為課程中的個別單元生成教科書。圖 3 展示一個提示範例。
雖然這種方法能產生高質素內容,主要限制在於擴展能力。我們受限於各來源的資源數量和可用主題。例如,我們只能從 OpenStax 擷取 16,000 個獨特單元,從 Stanford 擷取 250,000 個。考慮到目標是生成 20 billion 個 token,我們至少需要 20 million 個提示!
善用受眾和風格的多樣性
增加生成樣本多樣性的一種策略,是善用受眾和風格的差異:只要改變目標受眾(例如幼童與大學生)和生成風格(例如學術教科書與網誌文章),同一主題便可重複運用多次。不過我們發現,只把提示由「為大學生撰寫一個名為『為何要上太空?』的教科書詳細課程單元」改成「撰寫一篇以『為何要上太空?』為題的詳細網誌文章」,或「為幼童撰寫一本以『為何要上太空?』為題的教科書」,仍不足以避免大量重複內容。為減少重複,我們更強調受眾和風格的差異,並具體説明格式和內容應如何不同。
圖 3 示範如何根據同一主題,為不同受眾調整提示。

圖 3. 為幼童、專業人士與研究人員,以及高中生生成同一教科書的提示。
以四種受眾(幼童、高中生、大學生、研究人員)和三種生成風格(教科書、網誌文章、WikiHow 文章)為目標,提示數量最多可增加 12 倍。然而,我們可能希望涵蓋這些資源未涉及的其他主題,而這些來源的數量仍然有限,與目標的 20+ million 個提示相距甚遠。這時網絡資料便派上用場:如果我們生成涵蓋網絡上所有主題的教科書,會怎樣?下一節會説明我們如何挑選主題並運用網絡資料建立數百萬個提示。
網絡資料
使用網絡資料建立提示證明最具擴展性,佔 Cosmopedia 所用提示超過 80%。我們將數百萬個網絡樣本分成 145 個羣集,所用資料集包括 RefinedWeb。我們從每個羣集隨機抽取 10 個樣本的摘錄,交由 Mixtral 找出共同主題,藉此辨識各羣集的主題。技術堆疊一節會提供更多羣集分析細節。
我們檢查各羣集,並排除教育價值偏低的內容,例如成人露骨內容、名人八卦和訃聞。保留和排除的 112 個主題完整清單見此。
接著,我們指示模型根據羣集分析,按照網絡樣本所屬主題的範圍生成相關教科書,以此建立提示。圖 4 展示一個網絡提示範例。為提高多樣性,並考慮主題標籤可能不完整,我們只在 50% 的提示中加入主題條件,同時按上一節所述改變受眾和生成風格。最終我們以此方法建立 23 million 個提示。圖 5 展示 Cosmopedia 中種子資料、生成格式和受眾的最終分佈。

圖 4. 網絡摘錄及相關提示範例。

圖 5. Cosmopedia 資料集中的種子資料、生成格式和目標受眾分佈。
除了隨機網絡檔案,我們亦使用 AutoMathText 的樣本。這是一個經仔細整理的數學文本資料集,旨在納入更多科學內容。
指令資料集和故事
我們初步評估以生成教科書訓練的模型時,發現它們欠缺常識和小學教育常見的基礎知識。為解決這個問題,我們以 UltraChat 和 OpenHermes2.5 指令微調資料集的文本作為提示種子資料,創作融入日常知識和基本常識的故事。這些資料集涵蓋廣泛主題。例如,UltraChat 的「關於世界的問題」子集涵蓋 30 個關於世界的元概念。至於另一個多元且高質素的指令微調資料集 OpenHermes2.5,我們省略了不適合用於故事創作的來源和類別,例如用於程式設計的 glaive-code-assist,以及用於進階化學的 camelai。圖 6 展示我們用來生成這些故事的提示範例。

圖 6. 使用 UltraChat 和 OpenHermes 樣本生成故事的提示,目標受眾分別為幼童、一般讀者和 Reddit 論壇用戶。
以上就是我們透過提示工程,建立 30+ million 個多元提示、並讓內容重複率極低的過程。下圖展示 Cosmopedia 的羣集,其分佈與網絡資料的羣集相似。你亦可在 Nomic 找到可點擊的地圖。

圖 7. 由 Mixtral 標註的 Cosmopedia 羣集。
你可使用資料集檢視器自行探索:

圖 8. Cosmopedia 資料集檢視器。
技術堆疊
我們在此發布建立 Cosmopedia 所用的所有程式碼:https://github.com/huggingface/cosmopedia
本節會介紹用於文本羣集分析、大規模文本生成,以及訓練 cosmo-1b 模型的技術堆疊。
主題羣集分析
我們使用 text-clustering 儲存庫,為 Cosmopedia 提示所用的網絡資料實作主題羣集分析。下圖説明尋找和標記羣集的流程。在標記步驟中,我們亦要求 Mixtral 按 10 分制為羣集評定教育價值,協助我們檢視主題。你可在這個示範中查看網絡羣集和評分。

圖 9. 文本羣集分析流程。
大規模生成教科書
我們運用 llm-swarm 程式庫,使用 Mixtral-8x7B-Instruct-v0.1 生成 25 billion 個 token 的合成內容。這是一款可擴展的合成資料生成工具,可使用本機 LLM 或 Hugging Face Hub 的推論端點,並支援 TGI 和 vLLM 推論程式庫。我們透過 TGI,在 Hugging Face Science 叢集的 H100 GPU 上本機部署 Mixtral-8x7B。生成 Cosmopedia 總共耗用了超過 10k GPU 小時。
以下示範如何在 Slurm 叢集上使用 2 個 TGI 執行個體,根據 100k 個 Cosmopedia 提示以 Mixtral 執行生成:
# clone the repo and follow installation requirements
cd llm-swarm
python ./examples/textbooks/generate_synthetic_textbooks.py \
--model mistralai/Mixtral-8x7B-Instruct-v0.1 \
--instances 2 \
--prompts_dataset "HuggingFaceTB/cosmopedia-100k" \
--prompt_column prompt \
--max_samples -1 \
--checkpoint_path "./tests_data" \
--repo_id "HuggingFaceTB/generations_cosmopedia_100k" \
--checkpoint_interval 500
你甚至可以使用 wandb 追蹤生成過程,監察處理量和已生成 token 數量。

圖 10. llm-swarm 執行工作的 Wandb 圖表。
注意:
我們在提示初步迭代時使用 HuggingChat,接著使用 llm-swarm 為每個提示生成數百個樣本,以找出異常模式。例如,模型在教科書中使用非常相似的開場白,也經常以相同句子開始故事,例如「很久很久以前」和「太陽低垂在天空」。明確要求模型避免這些開場白並發揮創意,便解決了問題;它們仍然會出現,但頻率較低。
基準測試去污染
由於我們生成合成資料,種子樣本或模型訓練資料可能已受基準測試內容污染。為處理這個問題,我們實作去污染流程,確保資料集不含任何測試基準樣本。
與 Phi-1 類似,我們透過 10-gram 重疊找出可能受污染的樣本。找出候選項目後,我們使用 difflib.SequenceMatcher 比較資料集樣本與基準測試樣本。如果 len(matched_substrings) 與 len(benchmark_sample) 的比率超過 0.5,我們便捨棄該樣本。這個去污染流程適用於所有以 Cosmo-1B 評估的基準測試,包括 MMLU、HellaSwag、PIQA、SIQA、Winogrande、OpenBookQA、ARC-Easy 和 ARC-Challenge。
我們列出從各資料集分割移除的受污染樣本數量,以及其對應的獨特基準測試樣本數量(括號內):
| 資料集羣組 | ARC | BoolQ | HellaSwag | PIQA |
|---|---|---|---|---|
| 網絡資料 + Stanford + OpenStax | 49 (16) | 386 (41) | 6 (5) | 5 (3) |
| auto_math_text + khanacademy | 17 (6) | 34 (7) | 1 (1) | 0 (0) |
| 故事 | 53 (32) | 27 (21) | 3 (3) | 6 (4) |
我們發現 MMLU、OpenBookQA 和 WinoGrande 各有少於 4 個受污染樣本。
訓練堆疊
我們使用 Cosmopedia 和 Llama2 架構訓練了一個 1B LLM,以評估其品質:https://huggingface.co/HuggingFaceTB/cosmo-1b。
我們使用 datatrove 程式庫進行資料去重和 tokenization,使用 nanotron 訓練模型,並使用 lighteval 進行評估。
模型在 ARC-easy、ARC-challenge、OpenBookQA 和 MMLU 上的表現優於 TinyLlama 1.1B,在 ARC-challenge 和 OpenBookQA 上則與 Qwen-1.5-1B 相若。不過,與 Phi-1.5 相比仍有一些效能差距,顯示合成資料的生成品質可能有待改善;這或與生成所用的 LLM、主題覆蓋範圍或提示有關。

圖 10. Cosmo-1B 評估結果。
結論與後續工作
本文概述了我們建立 Cosmopedia 的方法。這個大型合成資料集旨在預訓練模型,並以重現 Phi 資料集為目標。我們強調仔細設計提示、涵蓋廣泛主題,以確保生成內容多元的重要性。此外,我們亦分享並開放技術堆疊,讓生成流程可擴展至數百張 GPU。
不過,Cosmopedia 目前仍是初步版本,我們正積極改善生成內容的品質。生成結果的準確度和可靠性很大程度取決於所用模型。具體而言,Mixtral 有時會產生幻覺和錯誤資訊,例如在歷史事實,或 AutoMathText 和 KhanAcademy 子集中的數學推理方面。緩解幻覺的一種方法是採用檢索增強生成(RAG),即檢索與種子樣本相關的資訊(例如來自 Wikipedia),並將其納入上下文。幻覺測量方法亦有助評估哪些主題或領域受影響最大 [9]。比較 Mixtral 與其他開放模型的生成結果亦值得探討。
合成資料的潛力無窮,我們期待看到社羣以 Cosmopedia 為基礎創造出甚麼成果。
參考資料
[1] Ding 等人。《透過擴大高質素指令對話,提升聊天語言模型》。網址:https://arxiv.org/abs/2305.14233
[2] Wei 等人。《Magicoder:你所需的一切就是原始碼》。網址:https://arxiv.org/abs/2312.02120
[3] Toshniwal 等人。《OpenMathInstruct-1:包含 1.8 Million 個數學指令微調資料的資料集》。網址:https://arxiv.org/abs/2402.10176
[4] Xu 等人。《WizardLM:讓大型語言模型能遵循複雜指令》。網址:https://arxiv.org/abs/2304.12244
[5] Moritz Laurer。《合成資料:以開放原始碼節省金錢、時間和碳排放》。網址:https://huggingface.co/blog/synthetic-data-save-cost
[6] Gunasekar 等人。《教科書就是你所需的一切》。網址:https://arxiv.org/abs/2306.11644
[7] Li 等人。《教科書就是你所需的一切 II:Phi-1.5 技術報告》。網址:https://arxiv.org/abs/2309.05463
[8] Phi-2 網誌文章。網址:https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/
[9] Manakul、Potsawee、Liusie、Adian 和 Gales、Mark JF。《SelfCheckGPT:用於生成式大型語言模型的零資源黑箱幻覺偵測》。網址:https://arxiv.org/abs/2303.08896
來源:Hugging Face Blog · huggingface.co