跳到正文
Hugging Face Blog·· 2025-09-11精選AI 評分67

Together AI 支援微調 Hugging Face Hub 上的兼容 LLM

Fine-tune Any LLM from the Hugging Face Hub with Together AI

AI 導讀

Together AI 宣佈可透過其平台微調 Hugging Face Hub 上兼容的 LLM,微調後模型可供推理、下載或推回 Hub。流程以 Together 官方目錄中的基礎模型提供訓練配置,自選的 Hugging Face 模型則是實際微調對象;文中稱一般預期支援 100B params 以下的 CausalLM 模型。

推薦理由

文章交代了基礎模型提供訓練配置、自選 Hub 模型作為微調對象的分工,並列出讀取私有模型與將訓練結果推回 Hub 的接入流程。

正文 · 繁體中文

image/png 今日 AI 發展的步伐令人驚嘆。每天都有數以百計的新模型在 Hugging Face Hub 上面世,當中有些是 Llama 或 Qwen 等熱門基礎模型的專門變體,有些則採用全新架構,或從零開始針對特定領域訓練。無論是以臨牀數據訓練的醫療 AI、針對某種程式語言最佳化的編碼助理,還是為特定文化情境微調的多語言模型,Hugging Face Hub 已成為開源 AI 創新的核心。

但挑戰在於:找到出色模型只是第一步。假如你找到一個有 90% 符合需求的模型,但還需要額外 10% 的客製化,接下來怎麼辦?傳統微調基礎設施複雜、成本高昂,而且通常需要相當豐富的 DevOps 專業知識才能設定和維護。

這正是 Together AI 與 Hugging Face 正在共同填補的空缺。我們宣佈一項強大新功能,讓整個 Hugging Face Hub 都能透過 Together AI 的基礎設施進行微調。現在,Hub 上任何相容的 LLM,無論來自 Meta 還是個人貢獻者,都能以 Together 平台一貫簡便可靠的方式進行微調。🚀

5 分鐘快速開始

在 Together AI 平台上開始微調 HF 模型,只需以下步驟:

#pip install together

from together import Together

client = Together(api_key="your-api-key")

file_upload = client.files.upload("sft_examples.jsonl", check=True)

# Fine-tune any compatible HF model
job = client.fine_tuning.create(
    model="togethercomputer/llama-2-7b-chat",  # Base model for configuration
    from_hf_model="HuggingFaceTB/SmolLM2-1.7B-Instruct",  # Your chosen HF model
    training_file=file_upload.id,
    n_epochs=3,
    learning_rate=1e-5,
    hf_api_token="hf_***",  # for private repos
    hf_output_repo_name="my-username-org/SmolLM2-1.7B-FT"  # to upload model back to hub
)

print(f"Training job started: {job.id}")

就是這樣!你的模型會在 Together 的基礎設施上訓練,之後可以部署以供推論、下載,甚至上載回 Hub!若使用私人儲存庫,只需加入 HF token:hf_api_token="hf_xxxxxxxxxxxx"。

運作方式:

如上例所示,在 Together AI 上微調 Hugging Face 模型時,實際上需要指定兩個模型:

  • 基礎模型(model 參數):來自 Together 官方目錄的模型,提供基礎設施設定、訓練最佳化和推論配置
  • 自訂模型(from_hf_model參數):實際接受微調的 Hugging Face 模型

你可以把基礎模型想成「訓練範本」。它會指示系統如何妥善分配 GPU 資源、配置記憶體用量、設定訓練流程,以及為推論準備模型。為了取得最佳效果,自訂模型的架構、約略大小和序列長度應與基礎模型相近。

如上例所示,若要微調採用 Llama 架構的 HuggingFaceTB/SmolLM2-1.7B-Instruct,可使用 togethercomputer/llama-2-7b-chat 作為基礎模型範本,因為兩者採用相同的底層架構。

這項整合支援雙向操作。Together AI 可以從 Hugging Face Hub 擷取任何相容的公開模型進行訓練;只要提供正確的 API token,也可以下載私人儲存庫中的模型。訓練完成後,只要指定 hf_output_repo_name,微調後的模型便可自動推送回 Hub,供你的團隊或更廣泛的社羣分享。

一般而言,所有低於 100B 參數的 CausalLM 模型都預期可正常使用。若要全面瞭解如何選擇基礎模型和自訂模型等內容,請閲讀完整指南!

開發者可以如何受惠

這項整合解決了許多人面對的實際問題:在 Hugging Face 找到優秀模型,卻沒有基礎設施按自身需求進行微調。現在,你只需呼叫幾次 API,就能從發現有潛力的模型,快速進展到將客製版本部署於正式環境。

最大的好處是減少阻力。你毋須花數天設定訓練基礎設施,也不再受限於各平台正式支援的模型,現在可使用 Hub 上任何相容模型進行實驗。找到接近需求的專用編碼模型?用自己的數據訓練它吧!📈

對團隊而言,這代表更快的迭代週期。你可以迅速測試多種模型方案、善用社羣創新成果,甚至以自家微調模型作為進一步客製化的起點。

團隊如何運用這項功能?

Beta 使用者和早期採用者已在多種應用場景中看到這項功能帶來的成果。

Slingshot AI 已將這項能力直接整合至其模型開發流程。他們不再侷限於 Together 的模型目錄,現在可以在自家基礎設施上執行部分訓練流程、將模型上載至 Hub,再透過 Together AI 微調平台繼續微調。這大幅加快了他們的開發週期,也讓他們能輕鬆試驗各式各樣的模型變體。

Parsed 的工作展示了這種方法的效用:經過良好微調的小型開源模型,可以勝過大得多的封閉模型。透過精心整理的數據集微調模型,他們在維持成本效益和完整模型控制權的同時,取得更佳表現。

我們看到其他客戶常見的用法包括:

  • 領域適配:將通用模型轉化為醫療、金融或法律等行業專用模型。團隊會尋找已具備部分領域知識的模型,再利用 Together 的基礎設施,按其特定數據和需求進行調整。
  • 迭代改進模型:以社羣模型為起點進行微調,再將成果用作進一步優化的基礎。這樣能產生複合式的改進效果,從零開始很難做到。
  • 專門化社羣模型:運用已針對特定任務(例如編碼、推理或多語言能力)最佳化的模型,再為專有用途作進一步客製化。
  • 探索架構:新架構和模型變體推出後,便能迅速測試,毋須等待它們加入官方平台。

團隊回報的最大優勢是快速實現價值。他們毋須花數星期設定訓練基礎設施,也不必花數月從零訓練模型,而是能從社羣中找出有潛力的起點,並在數天內把專門化模型投入正式環境。

成本效益是另一項主要好處。由於起始模型已具備相關能力,團隊只需較少訓練週期,也可使用較小的數據集達到目標表現,大幅降低運算成本。

或許更重要的是,這種方法讓團隊能運用開源社羣的集體智慧。每項突破、每種專門化調整、每個新架構,都可能成為自身工作的起點。

讓我們看看你的作品!🔨

如同這類大型功能推出後的常見情況,我們正根據實際使用情況持續改善體驗,因此你的意見會直接影響平台發展!

請先參閲我們的實作指南,瞭解範例和疑難排解技巧。若遇到問題或想分享正在開發的內容,歡迎加入我們的 Discord;我們的團隊也在裡面,社羣成員亦相當樂於互相協助。

若你對 Together AI 微調有任何意見,或想深入探索如何將其應用於你的任務,歡迎聯絡我們!

來源:Hugging Face Blog · huggingface.co