使用 Diffusers 以 Dreambooth 微調 Stable Diffusion 的實驗與設定建議
Hugging Face 團隊以 Diffusers 的 `train_dreambooth.py` 對 Stable Diffusion 進行 Dreambooth 微調實驗,整理降低過擬合及改善生成品質的設定建議。
推薦理由:文中以不同主體的對照實驗梳理學習率、訓練步數與 prior preservation 對過擬合的影響,為 Dreambooth 微調提供具體設定參照。
Hugging Face 開源社區動態:熱門模型與數據集、排行榜變化與開源生態的晴雨表。
Hugging Face 團隊以 Diffusers 的 `train_dreambooth.py` 對 Stable Diffusion 進行 Dreambooth 微調實驗,整理降低過擬合及改善生成品質的設定建議。
推薦理由:文中以不同主體的對照實驗梳理學習率、訓練步數與 prior preservation 對過擬合的影響,為 Dreambooth 微調提供具體設定參照。
Hugging Face Blog 提供使用 🤗 Transformers 為多語言 ASR 資料集微調 Whisper 的逐步指南,涵蓋資料準備、訓練與評估。
推薦理由:文章將 Whisper 多語言微調拆解為資料準備、特徵處理、訓練評估與示範流程,並以印地語資料展示從預處理到模型分享的可複用實作路徑。
MTEB 是一套評估文本嵌入模型在多種任務上表現的大型基準測試,並以排行榜彙整模型成績。該基準涵蓋 56 個數據集、8 類任務及最多 112 種語言,排行榜彙整 >2000 項結果。
推薦理由:MTEB 把 56 個數據集、8 類任務納入同一排行榜,並提供自行測試及提交結果的流程,方便按具體任務比較文本嵌入模型。
Hugging Face 推出 Inference Endpoints,讓用户可從 Hugging Face Hub 將機器學習模型部署至所選雲端的受管基礎設施。
推薦理由:文章逐步展示從 Hugging Face Hub 將模型部署至 AWS,並比較 Protected 與 Private 端點的存取範圍和 VPC 設定。
Hugging Face 團隊記錄了為 BLOOM 建置推理伺服器的優化過程,稱數週內將延遲降低 5x、吞吐量提升 50x。改用 Tensor Parallelism 後,延遲由 300ms/token 降至 91ms/token,吞吐量升至 10RPS;其後透過 torch.jit.script 和自訂 kernel 將延遲再降至 71ms/token。
推薦理由:文章以 BLOOM 的實測串連並行策略、算子融合和批次服務的取捨,呈現大型模型推理優化中如何平衡延遲與吞吐量。
Hugging Face 的 Evaluation on the Hub 現已支援免寫程式對 Hub 上的因果語言模型進行零樣本分類評估,最高支援 66 billion parameters。
推薦理由:文章説明如何用 Evaluation on the Hub 比較不同規模模型,並以 WinoBias 案例展示零樣本評估如何檢視職業性別偏見。
Hugging Face 與 Intel Labs、UKP Lab 共同介紹 SetFit,這是一套無需提示詞、以少量標註資料微調 Sentence Transformers 的少樣本學習框架。
推薦理由:文章比較 SetFit 與其他少樣本方法在 RAFT 等基準的表現,並列出訓練時間與成本,提供分類效能和訓練效率的直接參照。
Hugging Face 團隊介紹 Diffusers 0.3 的功能更新,涵蓋圖生圖、Textual Inversion、實驗性修補管線及推理優化。Textual Inversion 可用 3-5 張樣本個人化 Stable Diffusion;啟用優化後,Stable Diffusion 僅需 3.2GB VRAM,生成結果相同但速度降低 10%。
推薦理由:Diffusers 0.3 把圖生圖、模型個人化等功能更新,連同小顯存、Mac 與 ONNX 的操作示例一併呈現,便於對照 Stable Diffusion 在不同環境的操作與部署方式。
Hugging Face 文章示範如何用 Diffusers 的 StableDiffusionPipeline 執行 Stable Diffusion 文生圖,並介紹模型原理及自訂推理流程。
推薦理由:文章從 Stable Diffusion 的基礎生成示例延伸至參數設定與自訂推理流程,並解釋 VAE、U-Net 和文字編碼器在潛在空間生成中的分工,提供拆解 Diffusers pipeline 的實用脈絡。
Hugging Face 將 LLM.int8() 整合至 Transformers 與 Accelerate,透過混合 INT8/FP16 矩陣乘法降低大型語言模型推理所需的記憶體。
推薦理由:文章串連 LLM.int8() 的離羣特徵處理、效能比較與 Transformers 整合細節,呈現 8-bit 量化降低大型模型記憶體需求的實作脈絡。
Hugging Face 説明 Transformers 的 TensorFlow 設計取向,將模型和層設為 Keras Model 與 Keras Layer,讓使用者可直接調用 fit()、compile() 和 predict()。
推薦理由:文章梳理 Hugging Face Transformers 對 TensorFlow 的六項設計取向,並以 Keras 訓練、資料管線、XLA 與部署示例,呈現這些取捨如何落實到模型訓練和部署流程。
BLOOM 已正式發佈,這款具 176 billion parameters 的開放多語言大語言模型可生成 46 種自然語言及 13 種程式語言文本。最後一輪訓練歷時 117 days,並公開訓練中間 checkpoint 與 optimizer states,供研究者下載、運行及研究。
推薦理由:BLOOM 除模型外亦公開訓練中間 checkpoint 與 optimizer states,並提供下載及本地或雲端使用途徑,讓研究者能檢視模型行為與訓練過程。
Hugging Face 推出由 AutoTrain 驅動的 Evaluation on the Hub,讓使用者無需編寫程式,即可用任意資料集與指標評估 Hub 上的模型。評估結果會提交至模型卡的 Hub pull request,平台亦提供排行榜,方便比較模型在不同資料集切分與指標上的表現。
推薦理由:它讓使用者可在 Hub 選擇模型、資料集和指標,免寫程式完成評估;結果回寫模型卡,排行榜便於比較表現及重用評估設定。
Hugging Face Hub 推出 Pull Request 和 Discussions 協作功能,現已向所有模型、資料集及 Spaces 倉庫開放。社羣成員可在 Community 分頁提問、分享建議,並透過網站開啟、評論、合併或關閉 Pull Request。Pull Request 使用直接儲存在來源倉庫的自訂 refs,無需為模型或資料集的每個新版本建立 fork。
推薦理由:Hugging Face Hub 以來源倉庫內的 refs 處理 Pull Request,免去為模型或資料集每個新版本建立 fork,呈現其針對 ML 倉庫簡化協作流程的做法。
Gradio 3.0 正式推出,全面重設前端,並加入可在 Python 中構建自訂 Web app 的低階 Gradio Blocks API。前端採用 Svelte 等技術,文章稱載荷更小、頁面載入更快;Dataframe 經改良,並新增 Gallery 和 TabbedInterface。
推薦理由:Gradio Blocks 的 Python 範例展示如何組合元件、事件與版面,構建多步驟互動介面,提供可借鑑的實作思路。
Hugging Face 宣佈完成由 Lux Capital 領投的 $100 Million C 輪融資,Sequoia、Coatue 等也參與投資。Hugging Face Hub 當時託管 100,000 個預訓練模型及 10,000 個數據集,超過 10,000 家公司使用 Hugging Face 建構機器學習技術。公司表示將加大研究、開源、產品及負責任地普及 AI 的投入。
推薦理由:融資用途涵蓋研究、開源、產品與負責任地普及 AI,讀者可從中瞭解 Hugging Face 此輪募資要加速的方向。
文章示範以 amazon_reviews_multi 的英文資料微調 microsoft/deberta-v3-base,建立五類情感分類模型以篩選最不滿意的客户訊息。測試中,模型識別出約 95% 的極度不滿意訊息,並把約 12% 的中立或滿意訊息誤判為需要回覆。按每日 10,000 則訊息的假設估算,人工工作量可減少約 83%;文章指出,實際應用需要貼近業務情境的高質素訓練數據。
推薦理由:文章由任務界定、資料集篩選延伸至微調與業務指標設計,展示如何把模型評估對準客服實際處理目標。
這篇教程示範使用 🤗 Datasets 與 🤗 Transformers,將預訓練模型 google/vit-base-patch16-224-in21k 微調為豆類葉片圖像分類器。
推薦理由:文章以 beans 葉片分類串起資料載入、ViT 圖像預處理、Trainer 微調與評估,並展示資料即時轉換及訓練參數設定。
Hugging Face 收購 Gradio,並將與 Gradio 團隊繼續發展這套用於建立及分享機器學習模型 demo 的開源工具。Gradio 自 2019 年推出以來,已建立超過 300,000 個 demos,應用範圍涵蓋電腦視覺、文字、語音和影片。團隊表示,合作目標是讓任何能連接互聯網並使用瀏覽器的人都能接觸和使用機器學習模型。
推薦理由:文章把收購置於 Gradio 推動模型易於展示、試用和收集回饋的脈絡中,並列出超過 300,000 個 demos 的既有使用規模。
Hugging Face Hub 接入 spaCy,讓使用者可分享 spaCy pipelines,並在瀏覽器試用或透過 Inference API 調用模型。
推薦理由:這次整合把 spaCy pipeline 上傳、瀏覽器試用、NER 推理和安裝入口放在 Hub,呈現模型分享後如何被測試與接入應用。