跳到正文
Hugging Face Blog·· 2024-12-16精選AI 評分61

Hugging Face 推出 Synthetic Data Generator,讓用户以自然語言建立數據集

Introducing the Synthetic Data Generator - Build Datasets with Natural Language

AI 導讀

Hugging Face 推出 Synthetic Data Generator,讓用户以自然語言描述需求,無需編寫程式碼即可生成文字分類或聊天數據集。

推薦理由

文章展示由自然語言描述生成分類或聊天數據集,再用 Argilla 審核並交由 AutoTrain 訓練模型的流程,也説明如何自訂模型與生成配置。

正文 · 繁體中文

推出Synthetic Data Generator,這是一款方便易用的應用程式,無須編寫程式碼,就能使用大型語言模型(LLM)建立自訂資料集。最大優點是:簡單的逐步操作,讓非技術人員也能輕鬆建立資料集和模型,幾分鐘內即可完成,完全毋須編寫程式。

短篇示範影片 甚麼是合成數據?有甚麼用途?

合成數據是人工生成、模仿真實世界數據的資訊,可透過擴充或強化資料集,克服數據不足的限制。

由提示到資料集再到模型

合成數據生成器會根據你想要的數據描述(即自訂提示),透過合成數據管道為你的用途生成資料集。後台由 distilabel和免費 Hugging Face 文本生成 API提供支援,但你無須理會這些複雜設定,只管使用介面即可。

支援的任務

目前工具支援文本分類和聊天資料集。這些任務會決定生成資料集的類型:分類任務需要類別,聊天資料則需要對話內容。我們會按需求逐步加入評估和 RAG 等任務。

文本分類

文本分類常用於歸類客戶評價、社交媒體帖文或新聞文章等文本。生成分類資料集分為兩個步驟,我們會用 LLM 協助完成:先生成多樣化文本,再為內容加上標籤。argilla/synthetic-text-classification-news便是合成文本分類資料集的好例子,會把合成新聞文章歸入 8 個不同類別。

聊天資料集

這類資料集可用於監督式微調(SFT),讓 LLM 處理對話數據,使用者則可透過聊天介面與模型互動。argilla/synthetic-sft-customer-support-single-turn是合成聊天資料集的好例子,展示了專為處理客戶支援而設的 LLM。此例中的客戶支援主題正是合成數據生成器本身。

一般而言,文本分類每分鐘可生成 50 個樣本,聊天每分鐘則可生成 20 個。整個流程由免費 Hugging Face API 支援;你亦可使用自己的帳戶,選擇自訂模型、API 供應商或生成設定,進一步擴展規模。稍後會再談這部分,現在先了解基本操作。

生成第一個資料集

我們會建立一個基本聊天資料集。前往生成器後,你必須登入,讓工具存取你要用來生成資料集的機構,之後才能上載生成的資料集。如果驗證失敗,你隨時可以重設連線。

登入後,介面會引導你完成簡單的三個步驟:

1. 描述資料集

首先描述想建立的資料集,並提供示範用途,讓生成器瞭解你的需要。請盡量詳細説明目標,以及助理的類型。點擊「Create」按鈕後,系統會生成一份樣本資料集,然後便可繼續第 2 步。

2. 設定並修訂

調整根據你的描述生成的 system prompt和任務專屬設定,修訂樣本資料集。這樣便能取得更符合要求的結果。你可以點擊「Save」按鈕並重新生成樣本,反覆調整設定。滿意後,繼續第 3 步。

3. 生成並發布

填寫資料集名稱和機構等一般資訊,亦可設定生成樣本的數量和生成温度。温度代表生成內容的創意程度。點擊「Generate」按鈕即可開始完整生成。結果會直接儲存至 Argilla 和 Hugging Face Hub。

現在可以點擊「Open in Argilla」按鈕,直接查看生成的資料集。

審閲資料集

即使使用合成數據,理解和檢查數據仍然重要,因此我們直接整合了 Argilla。這是一款協作工具,讓 AI 工程師和領域專家共同建立高質素資料集。你可透過語義搜尋和可組合篩選器等強大功能,有效探索和評估合成資料集。詳情請參閲此指南。之後可把整理好的資料集匯出至 Hugging Face Hub,繼續用它微調模型。

訓練模型

不用擔心,即使不懂編碼,現在也可使用 AutoTrain建立強大的 AI 模型。想了解 AutoTrain,可參閲其文件。在此,我們會建立自己的 AutoTrain 部署,並像之前登入合成數據生成器一樣登入。

還記得一開始介紹的 argilla/synthetic-text-classification-news 資料集嗎?現在來訓練一個能正確分類這些例子的模型。選擇「Text Classification」任務,並提供正確的「Dataset source」,再選一個合適的項目名稱,然後按下播放按鈕!系統會彈出費用提示,但我們仍使用免費的 Hugging Face CPU 硬件;對這個文本分類例子來説,效能已綽綽有餘,因此可忽略提示。

Voilà!幾分鐘後,我們便有了自己的模型!接下來只需部署為即時服務,或用少量 Python 程式碼透過文本分類管道使用模型。

進階功能

即使不懂編碼也能從提示直接建立專用模型,有些人仍可能想使用進階技術功能,自訂和擴展部署。

提升速度和準確度

你可以自行部署工具,並設定不同參數或模型,以提升速度和準確度。首先,複製合成數據生成器,並確保將它設為私人 Space,避免其他人存取。然後可更改部分環境變數的預設值。以下介紹幾種情境:

  1. 使用其他免費 Hugging Face 模型。把 MODEL由預設值 meta-llama/Llama-3.1-8B-Instruct改為其他模型即可,例如 meta-llama/Llama-3.1-70B-Instruct。
  2. 使用 OpenAI 模型。把 BASE_URL設為 https://api.openai.com/v1/,並將 MODEL設為 gpt-4o即可。
  3. 增加批次大小,便可提升每分鐘生成的樣本數量。將 BATCH_SIZE由預設值 5調高,例如設為 10。請留意 API 供應商可能限制每分鐘請求數量。
  4. 使用私人 Argilla 執行個體。將 ARGILLA_URL和 ARGILLA_API_KEY設為免費 Argilla 執行個體的網址和 API 金鑰即可。

本機部署

除了託管在 Hugging Face Spaces,我們亦以 Apache 2 授權開源提供這款工具;你可前往GitHub,按需要使用、修改和改編。你亦可安裝為 Python 套件,只需執行 pip install synthetic-dataset-generator。請確保在建立……

自訂管道

每個合成數據管道都以 distilabel為基礎,這是用於合成數據和 AI 回饋的框架。distilabel 是開源軟件;管道程式碼的優點是可分享、可重現。例如,你可在 Hub 上的儲存庫中找到 argilla/synthetic-text-classification-news 資料集的管道。你亦可查看許多其他 distilabel 資料集及其管道。

下一步?

Synthetic Data Generator 已提供多項實用功能,適合任何數據或模型愛好者使用。不過,我們在GitHub 上列出一些改進方向,歡迎你參與貢獻、給予星標或提交 issue!我們正在開發的項目包括:

  • 檢索增強生成(RAG)
  • 使用 LLM 作評審的自訂評估

立即開始生成

來源:Hugging Face Blog · huggingface.co