跳到正文
Hugging Face Blog·· 2025-12-04精選AI 評分72

Hugging Face Skills 讓 Claude Code 微調開源大語言模型

We Got Claude to Fine-Tune an Open Source LLM

AI 導讀

Hugging Face Skills 讓 Claude Code 等編碼智能體透過對話處理模型微調,涵蓋資料集驗證、GPU 選擇、雲端工作提交與進度監控。它亦兼容 Codex 和 Gemini CLI;文中以 Qwen3-0.6B 在 open-r1/codeforces-cots 上進行 SFT 為例,估算使用 t4-small 約需 20 分鐘、成本約 $0.30。

推薦理由

文章將資料集驗證、GPU 選擇、雲端工作提交與進度監控串成智能體訓練流程,並比較 SFT、DPO、GRPO 的適用場景。

正文 · 繁體中文

banner

我們讓 Claude 使用一項名為 Hugging Face Skills 的新工具微調語言模型。它不只會編寫訓練指令碼,還會實際把訓練工作提交至雲端 GPU、監察進度,並把完成的模型推送至 Hugging Face Hub。本教學會示範它如何運作,以及你如何自行使用。

Claude Code 可以使用「skills」:一套封裝好的指令、指令碼和領域知識,協助它完成專門任務。hf-llm-trainer skill 教導 Claude 訓練所需的一切,包括按模型規模選擇 GPU、設定 Hub 驗證、判斷何時使用 LoRA 或完整微調,以及妥善處理成功訓練所涉及的其他數十項決策。

使用這項 skill,你可以這樣要求 Claude:

Fine-tune Qwen3-0.6B on the dataset open-r1/codeforces-cots

接着 Claude 會:

  1. 驗證數據集格式
  2. 選擇合適硬件(為 0.6B 模型選用 t4-small)
  3. 使用訓練指令碼,並以 Trackio 監察進度
  4. 把工作提交至 Hugging Face Jobs
  5. 回報工作 ID 和預計費用
  6. 在你詢問時查看進度
  7. 發生問題時協助除錯

模型會在 Hugging Face GPU 上訓練,你可以同時處理其他事情。訓練完成後,微調模型便會出現在 Hub,隨時可用。

這不是玩具示範。這項 skill 支援正式環境採用的訓練方法:監督式微調、直接偏好最佳化,以及以可驗證獎勵進行強化學習。你可以訓練參數量由 0.5B 至 70B 的模型、轉換成 GGUF 以便本地部署,亦可執行結合不同技術的多階段流程。

設定及安裝

開始之前,你需要:

Hugging Face skills 相容於 Claude Code、Codex 和 Gemini CLI。Cursor、Windsurf 及 Continue 的整合功能即將推出。

Claude Code

  1. 把這個儲存庫註冊為 marketplace 外掛:
/plugin marketplace add huggingface/skills
  1. 安裝 skill 時,執行:
/plugin install <skill-folder>@huggingface-skills

例如:

/plugin install hf-llm-trainer@huggingface-skills

Codex

  1. Codex 會透過 AGENTS.md 檔案識別 skills。你可以執行以下指令,確認指示已載入:
codex --ask-for-approval never "Summarize the current instructions."
  1. 如需更多詳情,請參閲 Codex AGENTS 指南。

Gemini CLI

  1. 此儲存庫內含 gemini-extension.json,可用來整合 Gemini CLI。

  2. 在本機安裝:

gemini extensions install . --consent

或使用 GitHub URL:

gemini extensions install https://github.com/huggingface/skills.git --consent
  1. 如需更多協助,請參閲 Gemini CLI 擴充功能文件。

連接至 Hugging Face

你必須使用 Hugging Face 帳戶的寫入權限 token完成驗證,讓工作能建立模型儲存庫。

設定 token:

hf auth login
# or 
export HF_TOKEN=hf_your_write_access_token_here

將寫入 token 傳入 HF_TOKEN 或 Authorization: Bearer HTTP 標頭,設定 Hugging Face MCP Server 使用該 token。

使用 Claude Code:claude mcp add --transport http hf-skills https://huggingface.co/mcp?bouquet=skills --header "Authorization: Bearer $HF_TOKEN"

首次訓練

以下以完整範例説明。我們會先微調一個小型模型,展示整個流程,再介紹更進階的功能。

指示 coding agent 進行微調

先清楚簡單地指示 agent 微調指定模型。

Fine-tune Qwen3-0.6B on the open-r1/codeforces-cots dataset for instruction following. 

Coding agent 會分析你的要求並準備訓練設定。若要在示範數據集上訓練 0.6B 模型,它會選用 t4-small:這張 GPU 足以應付該模型規模,而且是目前最便宜的選項。

open-r1/codeforces-cots 數據集收錄 Codeforces 問題及解答,適合用來指令微調模型,讓它解答高難度程式問題。

這個方法同樣適用於視覺語言模型!你只需執行「在 llava-instruct-mix 上微調 Qwen/Qwen3-VL-2B-Instruct」即可。

提交前先檢查

Coding agent 提交任何內容之前,你會先看到設定:

I'll fine-tune Qwen/Qwen3-0.6B on open-r1/codeforces-cots using SFT.

Configuration:
- Hardware: t4-small (~$0.75/hour)
- Estimated time: ~20 minutes
- Estimated cost: ~$0.30
- Output: username/qwen-codeforces-cots-sft

The model will be pushed to Hub automatically. Should I submit?

這是你調整任何設定的機會。你可以更改輸出儲存庫名稱、選擇其他硬件,或要求 Claude 修改訓練參數。你核准後,agent 才會提交訓練工作。

例如,你可以要求 agent 先試跑:

Do a quick test run on 100 examples.

追蹤進度

提交後,你會收到工作詳情:

✅ Job submitted successfully!

Job ID: abc123xyz
Monitor: https://huggingface.co/jobs/username/abc123xyz

Expected time: ~20 minutes
Estimated cost: ~$0.30

View real-time metrics at: https://huggingface.co/spaces/username/trackio

Example Trackio dashboard of a Sweep test

這項 skill 整合了 Trackio,因此你可以即時查看訓練損失下降。工作會以非同步方式執行,你可以關閉終端機,稍後再回來。需要更新時:

How's my training job doing?

然後,agent 會擷取記錄並概述進度。

使用你的模型

訓練完成後,你的模型便會出現在 Hub:

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("username/qwen-codeforces-cots-sft")
tokenizer = AutoTokenizer.from_pretrained("username/qwen-codeforces-cots-sft")

整個流程就是這樣。你用日常英文描述需求,agent 便會處理 GPU 選擇、指令碼生成、工作提交、驗證和持續儲存。整個過程花費約三十美仙。

訓練方法

這項 skill 支援三種訓練方法。瞭解何時採用各種方法,有助取得更佳結果。

監督式微調(SFT)

大部分專案都由 SFT 開始。你提供示範數據,即輸入和預期輸出的範例,訓練便會調整模型,令它符合這些模式。

如果你有想要的行為之高質素範例,便適合使用 SFT。客戶支援對話、程式碼生成配對、特定領域問答等,只要能展示理想答案的例子都適用。

Fine-tune Qwen3-0.6B on my-org/support-conversations for 3 epochs.

Agent 會驗證數據集、選擇硬件(為 7B 模型配搭 LoRA 使用 a10g-large),並設定訓練檢查點及監察功能。

參數量大於 3B 的模型,Agent 會自動使用 LoRA(低秩適配)以減少記憶體需求。這令你可以在單張 GPU 上訓練 7B 或 13B 模型,同時保留大部分完整微調的質素。

直接偏好最佳化(DPO)

DPO 使用偏好配對訓練:一個回應為「chosen」(偏好),另一個為「rejected」(不偏好)。通常在初始 SFT 階段後,以此方法令模型輸出符合人類偏好。

如果你有人工標註者或自動比較產生的偏好標籤,便適合使用 DPO。DPO 直接以偏好回應為目標進行最佳化,無須獨立獎勵模型。

Run DPO on my-org/preference-data to align the SFT model I just trained.
The dataset has 'chosen' and 'rejected' columns.

DPO 對數據集格式有嚴格要求。它必須包含名稱完全相同的 chosen 和 rejected 欄,或包含輸入內容的 prompt 欄。Agent 會先驗證格式;如果數據集使用其他欄位名稱,也會示範如何對應。

你也可以使用 Skills 在視覺語言模型上執行 DPO!歡迎試用 openbmb/RLAIF-V-Dataset。Claude 會作少量修改,之後便能成功訓練。

羣組相對策略最佳化(GRPO)

GRPO 是一種強化學習任務,已證實適用於可驗證任務,例如解數學題、編寫程式碼,或任何能以程式判定是否成功的任務。

Train a math reasoning model using GRPO on the openai/gsm8k dataset based on Qwen3-0.6B.

模型會生成回應,按正確性取得獎勵,再從結果中學習。這比 SFT 或 DPO 複雜,但設定方式相近。

硬件及成本

Agent 會按模型規模選擇硬件;瞭解當中的取捨,有助你作出更佳決定。

模型規模與 GPU 配對

對於1B 參數以下的極小型模型,t4-small 已足夠。這些模型訓練速度很快,完整訓練預計花費 $1–2。很適合作教學或實驗用途。

對於小型模型(1–3B),可升級至 t4-medium 或 a10g-small。訓練需時數小時,費用為 $5–15。

對於中型模型(3–7B),你需要 a10g-large 或配搭 LoRA 使用的 a100-large。完整微調無法容納,但 LoRA 足以應付這些模型。正式用途預算為 $15–40。

對於大型模型(7B 以上),這項 HF Skills 工作並不適用。

示範與正式訓練

測試工作流程時,先從小規模開始:

Do a quick test run to SFT Qwen-0.6B with 100 examples of my-org/support-conversations.

Coding agent 會設定最低限度的訓練,足以驗證流程可行,而不會產生實際成本。

進行正式訓練時,請清楚説明要求:

SFT Qwen-0.6B for production on the full my-org/support-conversations.
Checkpoints every 500 steps, 3 epochs, cosine learning rate.

正式投入數小時訓練前,務必先執行示範。若示範只花 $0.50,便能發現格式錯誤,可避免一次 $30 的失敗訓練。

數據集驗證

數據集格式是訓練失敗最常見的原因。Agent 可以在你花費 GPU 時間之前先驗證數據集。

Check if my-org/conversation-data works for SFT training.

Agent 會在 CPU 上快速檢查(只需幾分之一美仙),並回報:

Dataset validation for my-org/conversation-data:

SFT: ✓ READY
  Found 'messages' column with conversation format

DPO: ✗ INCOMPATIBLE
  Missing 'chosen' and 'rejected' columns

如果數據集需要轉換,Agent 也會示範方法:

My DPO dataset uses 'good_response' and 'bad_response' instead
of 'chosen' and 'rejected'. How do I fix this?

Agent 會提供對應程式碼,並可直接整合至訓練指令碼。

監察訓練

即時監察有助及早發現問題。這項 skill 預設會設定 Trackio;提交工作後,你可以在以下位置查看指標:

https://huggingface.co/spaces/username/trackio

這裡會顯示訓練損失、學習率及驗證指標。正常訓練時,損失會持續下降。

你可以隨時詢問 Agent 狀態:

What's the status of my training job?
Job abc123xyz is running (45 minutes elapsed)

Current step: 850/1200
Training loss: 1.23 (↓ from 2.41 at start)
Learning rate: 1.2e-5

Estimated completion: ~20 minutes

發生問題時,Agent 會協助診斷。記憶體不足?Agent 會建議減少批次大小或升級硬件。數據集錯誤?Agent 會找出不匹配之處。逾時?Agent 會建議延長時限或使用更快的訓練設定。

轉換成 GGUF

訓練完成後,你可能想在本機執行模型。GGUF 格式適用於 llama.cpp 及 LM Studio、Ollama 等相關工具。

Convert my fine-tuned model to GGUF with Q4_K_M quantization.
Push to username/my-model-gguf.

Agent 會提交轉換工作,合併 LoRA adapters、轉換成 GGUF、套用量化,然後推送至 Hub。

然後在本機使用:

llama-server -hf <username>/<model-name>:<quantization>

# For example, to run the Qwen3-1.7B-GGUF model on your local machine:
llama-server -hf unsloth/Qwen3-1.7B-GGUF:Q4_K_M

下一步

我們已展示 Claude Code、Codex 或 Gemini CLI 等 coding agent 如何處理模型微調的完整流程:驗證數據、選擇硬件、生成指令碼、提交工作、監察進度及轉換輸出。這讓過去需要專業技能的工作,如今可以透過對話完成。

不妨試試:

  • 使用自己的數據集微調模型
  • 透過 SFT → DPO 建立符合偏好的模型
  • 使用 GRPO 在數學或程式碼任務上訓練推理模型
  • 把模型轉換成 GGUF,並使用 Ollama 執行

這項skill 以開放原始碼發布。你可以擴展它、按工作流程自訂,或用作其他訓練情境的起點。


資源

來源:Hugging Face Blog · huggingface.co