🤗 Optimum Intel 加速 SetFit 在 Xeon 上的推理
Hugging Face Blog 示範使用 🤗 Optimum Intel 對 SetFit 模型進行靜態訓練後量化,在 Intel Xeon CPU 上推理時,最高吞吐量較原始 Transformers fp32 模型提升 7.8x。
Hugging Face Blog 示範使用 🤗 Optimum Intel 對 SetFit 模型進行靜態訓練後量化,在 Intel Xeon CPU 上推理時,最高吞吐量較原始 Transformers fp32 模型提升 7.8x。
Hugging Face Blog 示範如何使用 Hugging Face Transformers 和 PEFT,透過 LoRA 微調 Gemma 模型,並涵蓋 GPU 與 Cloud TPU 設定。
Hugging Face Blog 介紹 Matryoshka Embedding 模型的訓練與使用方法,並比較向量截短後與一般嵌入模型的表現。
推薦理由:文章把 Sentence Transformers 訓練方式與 STSBenchmark 實測相連,量化向量縮至原大小 8.3% 後仍保留 98.37% 表現。
Hugging Face 示範以其 GitHub 組織內按 stargazers 排名前 10 的公開程式碼庫,微調 StarCoder 製作個人化程式碼助手 HugCoder。
推薦理由:文章示範以 Hugging Face 公開程式碼庫微調個人化程式碼助手,並對照 QLoRA 與全量微調的成本和 HumanEval 結果,呈現訓練資源與表現的取捨。
Renumics Spotlight 可直接讀取 Hugging Face datasets,讓使用者以一行程式碼建立互動式視覺化,檢視資料樣本與羣集。文章以 speech_commands 和 CIFAR-100 示範加入模型預測與嵌入向量,並利用相似度圖、混淆矩陣等視圖分析資料羣集及模型失敗模式。
Hugging Face 在 🤗 Diffusers 中測試多種 SDXL 推理優化方法,並於 A100 GPU(40 GB)比較其記憶體佔用和推理延遲。未優化管線為 28.09GB、72,200.5ms;fp16 + SDPA 降至 21.72GB、11,413.0ms,加入 torch.compile 後延遲為 10,296.7ms。
推薦理由:文章以 A100 測試數據對照 SDXL 加速與省記憶體方案的取捨,並説明 Tiny Autoencoder 可能省略部分圖像細節,提供按硬件限制與生成用途選擇配置的參考。
OpenAI 發佈一份供教師在課堂使用 ChatGPT 的指南。指南涵蓋建議提示詞、ChatGPT 的運作方式與限制、AI 偵測器的效能,以及偏見。
Hugging Face Blog 示範在 Diffusers 中優化 AudioLDM 2 推理,將 10.24 秒音頻樣本的生成時間由約 14 秒縮短至不足 1 秒,音質下降幅度輕微。
教程提供以生成式 AI 製作 PS1 風格 3D 資產的逐步流程,從 Shap-E 依文字生成模型,到在 Unity 中查看成品。流程包括用 Blender 將模型減面、以 Dream Textures 生成貼圖、完成 UV 展開並匯出 FBX;文中説明,PS1 風格較能包容現階段文字生成 3D 模型的低保真表現。
Hugging Face Blog 作者以 Transformers.js 製作 Doodle Dash,並示範如何構建可在瀏覽器本地運行的即時機器學習遊戲。遊戲模型以 Google Quick, Draw!
推薦理由:文章串連 Quick, Draw! 數據微調、ONNX 轉換與 Transformers.js 瀏覽器推理,呈現把圖像分類模型接入即時網頁遊戲的實作路徑。
Hugging Face Blog 示範如何使用 Hugging Face Inference Endpoints 部署開源 LLM,並以 API 提供服務。示範以 Falcon 40B instruct 建立端點、測試生成參數,並透過 Python 和 JavaScript 串流生成結果。
Livebook 可將筆記本部署為 Hugging Face Spaces 應用程式;示範以 Elixir 建立由 Whisper 機器學習模型驅動的語音聊天應用。應用只接受音訊訊息,並由 Whisper 自動轉成文字,整個示範流程不到 15 分鐘。Livebook 是開源的 Elixir 互動式程式碼筆記本,也可在 Spaces 免費執行,供使用者編寫及試驗筆記本。
Hugging Face Hub 面向畫廊、圖書館、檔案館和博物館(GLAM)從業者,供其尋找及分享機器學習模型、資料集和示範應用。平台收錄逾 190,000 個模型、33,000 個資料集及逾 100,000 個機器學習應用和示範,並支援直接上載 CSV 資料集而無須編寫程式碼。
Hugging Face Blog 梳理文字生成影片模型的發展,對比 GAN、Transformer 與擴散模型路線,並概述生成能力限制。空間與時間一致性、配對資料稀缺及影片描述困難,令模型訓練成本高,長影片生成亦受上下文限制。Hugging Face Diffusers 可下載、執行及微調 Text2Video-Zero 和 ModelScope,Hub 亦提供多個示範及本地運行指引。
推薦理由:文章梳理文字生成影片模型從 GAN、Transformer 到擴散模型的演進,並交代資料與長影片生成的核心限制。
Hugging Face Blog 示範如何在 Unity 專案安裝及使用 Hugging Face Unity API,透過 Hugging Face Inference API 呼叫模型。
Hugging Face Blog 示範如何使用 Transformers 中的 Graphormer 模型進行圖分類,涵蓋資料載入、預處理及微調訓練。示例採用 OGB/ogbg-molhiv 資料集,載入 clefourrier/pcqm4mv2_graphormer_base,將任務設為二分類後以 Trainer 訓練。
Hugging Face 與 Substra 合作製作互動空間,介紹聯邦學習如何在數據不離開本地的情況下協同訓練模型。Substra 是面向真實生產環境的開源聯邦學習框架,模型權重在多個伺服器間傳遞,讓研究者利用不同來源的數據訓練模型。空間可調整樣本分佈並觀察簡單模型的反應;文中稱,聯邦學習模型在驗證數據上的表現幾乎總是優於單一來源訓練的模型。
Hugging Face 發佈 StackLLaMA,這是一個以 LLaMA 7B 為基礎、經 RLHF 微調、用於回答 Stack Exchange 問題的模型;完整訓練流程納入 Hugging Face TRL library。文章逐步示範監督式微調、獎勵模型訓練及 PPO 強化學習,並介紹 Stack Exchange 數據的偏好評分與 LoRA 等記憶體效率方法。
推薦理由:文章串聯 SFT、偏好獎勵模型與 PPO 三階段,並示範以 8-bit 載入和 LoRA 降低 RLHF 微調的記憶體需求,呈現可復用的訓練流程。
這篇教程示範如何結合 Hugging Face 與 Flower,在多個客户端聯邦微調預訓練的 distilBERT,將 IMDB 評分分類為正面或負面。客户端在本地訓練模型並將參數傳回伺服器,由 FedAvg 聚合參數,無需共享數據。另有使用 Flower 的 simulation 功能在 Google Colab 模擬聯邦環境的 Notebook。
Hugging Face Blog 示範使用 diffusers 為 Stable Diffusion 訓練 ControlNet,並以 FaceSynthetics 的 100K 張合成臉製作人臉姿勢條件資料。
推薦理由:文章以 FaceSynthetics 示範從人臉關鍵點製作 ControlNet 條件圖、整理訓練資料到配置低顯存參數的流程,可供類似訓練任務參照。
Hugging Face 在 🤗 Transformers 中提供 Informer,並示範如何以該模型進行多變量機率時間序列預測。Informer 以 ProbSparse attention 將注意力運算複雜度降至 O(T log T),並透過 distilling 將記憶體複雜度降至 O(N·T log T),而非 O(N·T²)。
《AI for Game Development》第 5 篇示範以 ChatGPT 為農場遊戲生成故事摘要、遊戲內故事及商店物品描述,並透過多輪對話修訂內容。初稿與 Stardew Valley 的故事極為相似,長篇生成亦出現質素下降和重複。文章提醒直接採用生成內容可能帶來法律、倫理及商業風險,建議以 AI 協助構思,並由人手撰寫定稿。
這篇教程示範如何把 Stable Diffusion 的 Image2Image 納入 2D 遊戲素材製作流程,從手繪草圖迭代生成素材。作者以玉米圖示説明先用 denoising strength 0.8 生成,再手動修改並以 0.6 重新生成,不到 10 分鐘便完成可直接用於遊戲的圖示。
Hugging Face Blog 梳理對話智能體的訓練方法,涵蓋 IFT、SFT、RLHF 和 CoT。文中指出,IFT 所需指令數據僅為數百例量級,SFT 以人工標註改善有用性和安全性,RLHF 則根據人類偏好訓練獎勵模型,再用強化學習訓練對話智能體。
推薦理由:文章把 IFT、SFT、RLHF 與 CoT 放在對話智能體訓練脈絡中梳理,並比較多個系統的訓練資料和評估方向,呈現各方法的分工。
Hugging Face Blog 示範如何使用 Transformers 和 Datasets 建立影像相似度檢索系統,透過模型產生嵌入向量並按餘弦相似度排序候選影像。
Hugging Face Blog 概述圖機器學習基礎,涵蓋圖的結構、應用任務、表示方式與圖上學習方法。內容説明節點、邊及同質/異質、有向/無向圖等概念,並介紹圖層級、節點、邊與子圖任務,以及邊集合和鄰接矩陣等表示方式。文章亦簡述前神經網絡方法、Graph Neural Networks 和用於圖的 Transformers。
Hugging Face Blog 的系列教程示範以 AI 工具在 5 天內製作完整農場遊戲,第一部分用 Stable Diffusion 1.5 設定美術風格,並以 Unity 搭建場景。
Hugging Face Blog 示範如何透過 Transformers 使用 CLIPSeg,以文字或參考圖像作為提示,為圖像生成零樣本分割遮罩。CLIPSeg 使用 352 x 352 像素圖像,輸出遮罩分辨率較低;文章示範將預測作為 Segments.ai 的粗略預標註,再人工修正以供後續模型訓練。
Hugging Face 的 Ethics and Society 團隊在第 2 期電子報中,探討機器學習偏見如何隨部署情境轉化為風險,並整理團隊用於不同開發階段的工具與建議。
推薦理由:文章把機器偏見連結至具體部署情境,並按任務定義、資料整理與模型開發階段整理評估及記錄做法,讓風險辨識不只停留在模型輸出檢查。
Hugging Face 示範如何透過 🤗 Datasets 一行 Python 程式碼載入音訊資料集,並以 GigaSpeech 説明重採樣、預處理和篩選流程。
Hugging Face Blog 梳理 RLHF 的三階段訓練流程,包括預訓練語言模型、收集偏好數據並訓練獎勵模型,以及以強化學習微調模型。人類標註者透過比較並排序同一提示下生成的文本來建立偏好數據;PPO 微調時,KL 懲罰用於限制策略偏離初始模型。
推薦理由:文章拆解 RLHF 的三階段訓練流程,並説明偏好排序如何訓練獎勵模型,以及 KL 懲罰如何約束後續策略更新。
Hugging Face Blog 説明如何將語言模型的遷移學習應用於蛋白質序列,先以大量蛋白質序列預訓練,再遷移至摺疊和分類等任務。文章指出,ESMFold 類似 AlphaFold2,但執行時毋須外部資料庫或搜尋步驟。文中亦提供 PyTorch 和 TensorFlow 的蛋白質模型微調範例,以及目前僅支援 PyTorch 的 ESMFold 筆記本。
推薦理由:文章以語言模型遷移學習作類比,説明蛋白質序列預訓練如何延伸至摺疊及分類任務,並提供微調筆記本作實作起點。
Hugging Face Blog 介紹如何在 Apple Silicon 上透過 Core ML 運行 Stable Diffusion,並提供自行轉換後上載至 Hugging Face Hub 的模型權重。
推薦理由:文章交代 Python 與 Swift 所需的模型封裝、attention 變體及運算單元差異,能幫助開發者按硬件和使用方式選擇 Core ML 推理配置。
Hugging Face 將於 11 月 30 日舉辦擴散模型社羣活動,並於 11 月 28 日推出與 Jonathan Whitaker 合作的免費 Diffusion Models Class。課程涵蓋擴散模型理論與應用;活動講者包括 Stable Diffusion 創作者、Stability AI 與 Meta 研究人員等,分享擴散模型及其應用工具。
Hugging Face 介紹如何以開源模型建立 Document AI 方案,並按任務梳理文件分類、版面分析、文件解析、表格處理及文件問答。文中以 RVL-CDIP 為例,列出 BERT-base、DiT、LayoutLMv3 和 Donut 的文件分類準確率分別為 89%、92% 及 95%,並討論授權、數據準備、微調與評估等實作考量。
推薦理由:文章按文件類型與任務梳理 Document AI 模型選擇,並串連授權、數據準備和評估考量,提供從小規模微調起步的實作思路。
Hugging Face Blog 示範以 Concrete-ML 建立同態加密情感分析流程,讓伺服器可在不解密資料的情況下預測加密文本表徵。流程由客户端以 Transformer 產生文本表徵,再交由 XGBoost 分類;文章報告模型準確率為 85%,高於 Transformer 本身的 80%,FHE 推理在 16 核 CPU 上每例需 4.4 秒。
Hugging Face 團隊以 Diffusers 的 `train_dreambooth.py` 對 Stable Diffusion 進行 Dreambooth 微調實驗,整理降低過擬合及改善生成品質的設定建議。
推薦理由:文中以不同主體的對照實驗梳理學習率、訓練步數與 prior preservation 對過擬合的影響,為 Dreambooth 微調提供具體設定參照。
Hugging Face Blog 提供使用 🤗 Transformers 為多語言 ASR 資料集微調 Whisper 的逐步指南,涵蓋資料準備、訓練與評估。
推薦理由:文章將 Whisper 多語言微調拆解為資料準備、特徵處理、訓練評估與示範流程,並以印地語資料展示從預處理到模型分享的可複用實作路徑。
Hugging Face 團隊在 🤗 Evaluate 加入多項偏差評估指標,並示範如何檢視因果語言模型根據提示詞生成的文本。示例使用 Toxicity、Regard 和 HONEST 評估文本毒性、不同羣體的語言極性差異,以及有害句子完成中的性別刻板印象。文章提醒,現有資料集涵蓋的身份特徵有限,這些指標只能呈現偏差的不同面向,建議結合多種指標使用。
Hugging Face Blog 以 MNIST 示例講解 PyTorch DDP、Accelerate 與 Transformers Trainer 如何用於多 GPU 或多機分散式訓練。