Hugging Face 介紹 SetFit:無需提示詞的高效少樣本學習框架
Hugging Face 與 Intel Labs、UKP Lab 共同介紹 SetFit,這是一套無需提示詞、以少量標註資料微調 Sentence Transformers 的少樣本學習框架。
推薦理由:文章比較 SetFit 與其他少樣本方法在 RAFT 等基準的表現,並列出訓練時間與成本,提供分類效能和訓練效率的直接參照。
Hugging Face 與 Intel Labs、UKP Lab 共同介紹 SetFit,這是一套無需提示詞、以少量標註資料微調 Sentence Transformers 的少樣本學習框架。
推薦理由:文章比較 SetFit 與其他少樣本方法在 RAFT 等基準的表現,並列出訓練時間與成本,提供分類效能和訓練效率的直接參照。
Hugging Face 推出《倫理與社會通訊》,分享將協作、責任與透明度等價值融入 AI 開發的思考與實踐。通訊每季於春分、秋分及夏至、冬至刊出,內容涵蓋文件與評估工具、教育項目、資料偏斜與偏見分析,以及模型訓練碳排追蹤。Hugging Face 亦開放對模型、資料及 Spaces 的直接回饋,並支援舉報模型與 Spaces 儲存庫中的倫理及法律問題。
Hugging Face 團隊介紹 Diffusers 0.3 的功能更新,涵蓋圖生圖、Textual Inversion、實驗性修補管線及推理優化。Textual Inversion 可用 3-5 張樣本個人化 Stable Diffusion;啟用優化後,Stable Diffusion 僅需 3.2GB VRAM,生成結果相同但速度降低 10%。
推薦理由:Diffusers 0.3 把圖生圖、模型個人化等功能更新,連同小顯存、Mac 與 ONNX 的操作示例一併呈現,便於對照 Stable Diffusion 在不同環境的操作與部署方式。
Hugging Face 示範如何使用離線強化學習資料,從零訓練 Decision Transformer,使其學習 Gym HalfCheetah 環境中的奔跑行為。
Megatron-LM 可在 NVIDIA GPU 上用於訓練 GPT2,並可將訓練後的模型轉換為 Transformers 支援的格式。教程以 110M 參數的 CodeParrot 為例,涵蓋資料預處理、8 張 GPU 訓練(約需 12 小時)及權重轉換。文章指出額外的預處理和轉換會增加時間開銷,建議將 Megatron-LM 用於預訓練或較長時間微調,而非中型模型的短期微調。
這篇教程示範如何在 Hugging Face Spaces 中使用 3Dmol.js 和 Gradio HTML 區塊呈現蛋白質結構。示例應用接受 4 位 PDB code 或上傳的 PDB 檔案,並透過 iframe 顯示結構。2024 年 5 月更新建議使用 Molecule3D Gradio Custom Component,讓用户可即時修改蛋白質可視化,亦更容易設定預設可視化。
Hugging Face 文章示範如何用 Diffusers 的 StableDiffusionPipeline 執行 Stable Diffusion 文生圖,並介紹模型原理及自訂推理流程。
推薦理由:文章從 Stable Diffusion 的基礎生成示例延伸至參數設定與自訂推理流程,並解釋 VAE、U-Net 和文字編碼器在潛在空間生成中的分工,提供拆解 Diffusers pipeline 的實用脈絡。
Hugging Face Blog 示範將 🤗 Transformers 中以 TensorFlow 實作的 ViT B/16 部署至 Vertex AI,並透過 Python SDK 建立端點及發送預測請求。文章説明模型版本管理、流量分配、監控與資源設定,並記錄 Locust 本機負載測試約發出 17230 次請求,平均延遲為 646 Milliseconds。
Hugging Face 將 LLM.int8() 整合至 Transformers 與 Accelerate,透過混合 INT8/FP16 矩陣乘法降低大型語言模型推理所需的記憶體。
推薦理由:文章串連 LLM.int8() 的離羣特徵處理、效能比較與 Transformers 整合細節,呈現 8-bit 量化降低大型模型記憶體需求的實作脈絡。
Hugging Face 推出 Skops,這個程式庫可將 scikit-learn 模型託管至 Hugging Face Hub,並建立模型卡以記錄模型資訊及促進協作。
Hugging Face 説明 Transformers 的 TensorFlow 設計取向,將模型和層設為 Keras Model 與 Keras Layer,讓使用者可直接調用 fit()、compile() 和 predict()。
推薦理由:文章梳理 Hugging Face Transformers 對 TensorFlow 的六項設計取向,並以 Keras 訓練、資料管線、XLA 與部署示例,呈現這些取捨如何落實到模型訓練和部署流程。
Hugging Face Blog 示範如何以 Docker 和 TensorFlow Serving,將 🤗 Transformers 的 Vision Transformer(ViT)部署至 Kubernetes。
Hugging Face 深度強化學習課程第 8 單元講解 PPO(近端策略優化),説明其透過裁剪策略概率比限制更新幅度,以提升訓練穩定性。文章介紹裁剪替代目標函數,並以 PyTorch 從零實作 PPO,在 CartPole-v1 和 LunarLander-v2 測試;示例裁剪範圍為 [0.8,1.2](ϵ=0.2)。
Hugging Face 為 🤗 Datasets 新增音訊與圖像資料集文件,並更新 Quickstart,提供使用 PyTorch 或 TensorFlow 載入及處理資料集的端到端示例。
Hugging Face Transformers 的 Vision Transformer(ViT)圖像分類模型,可使用 TensorFlow Serving 在本機部署並透過 REST 或 gRPC 提供服務。教程將圖像解碼、縮放至 224×224、正規化及分類後處理整合至 SavedModel,使其接收 base64 編碼圖像並輸出分類標籤和信心度。
Hugging Face 深度強化學習課程第 7 單元講解 Advantage Actor Critic(A2C),以 Actor 和 Critic 結合政策式與價值式方法,降低 Reinforce 策略梯度估計的方差並穩定訓練。課程使用 Stable-Baselines3,在 PyBullet 機械人模擬環境訓練雙足步行者和蜘蛛智能體。
Hugging Face 的教學以 MNIST 手寫數字識別示範,如何動態收集人類生成的對抗樣本並用於模型訓練。示範模型訓練 20 epochs 後,在測試集準確率為 89%;用户可在 Spaces 畫布書寫 0-9,並標記能騙過模型的樣本。樣本累積至門檻後會用來再訓練模型,並重複多輪,以提高模型穩健性。
作者以 Sentence Transformers 和 Gradio 構建歌單生成器,透過對歌詞嵌入向量進行語義搜索,按文字提示找出相關歌曲。由於所選模型的最大序列長度為 512 word pieces,歌曲歌詞先按 verse 切分並逐段嵌入;設置 top_k=20 時,作者實測幾乎總能得到至少 9 首不同歌曲。
BLOOM 已正式發佈,這款具 176 billion parameters 的開放多語言大語言模型可生成 46 種自然語言及 13 種程式語言文本。最後一輪訓練歷時 117 days,並公開訓練中間 checkpoint 與 optimizer states,供研究者下載、運行及研究。
推薦理由:BLOOM 除模型外亦公開訓練中間 checkpoint 與 optimizer states,並提供下載及本地或雲端使用途徑,讓研究者能檢視模型行為與訓練過程。
Hugging Face 提供 Twitter 情感分析入門指南,示範適用於程式開發者與非程式開發者的操作流程。程式開發者可用 Tweepy 收集推文,透過 Inference API 分析正面、負面或中性情緒,並將結果視覺化;非程式開發者則可用 Zapier 分析推文,並將結果傳送至 Google Sheets。
Hugging Face 深度強化學習課程第 5 單元以 PyTorch 從零實作 REINFORCE,並在 CartPole-v1、PixelCopter 和 Pong 測試其穩健性。策略梯度以梯度上升直接最佳化策略,毋須先學習價值函數;隨機策略可促進探索,在高維及連續動作空間中亦較有效。其限制包括可能收斂至局部極值、訓練時間較長及高方差。
這篇入門指南以 Sentence Transformers 為例,介紹初學者如何理解文本嵌入向量與語義搜尋,並規劃首個自主機器學習項目。文章建議先盤點工具能力、挑選感興趣的資料集,再配合一項熟悉的輔助工具構思項目。
Hugging Face 推出由 AutoTrain 驅動的 Evaluation on the Hub,讓使用者無需編寫程式,即可用任意資料集與指標評估 Hub 上的模型。評估結果會提交至模型卡的 Hub pull request,平台亦提供排行榜,方便比較模型在不同資料集切分與指標上的表現。
推薦理由:它讓使用者可在 Hub 選擇模型、資料集和指標,免寫程式完成評估;結果回寫模型卡,排行榜便於比較表現及重用評估設定。
Hugging Face Blog 以 Medicare FAQ 示範語義搜尋流程,使用 Inference API 生成嵌入向量,再以使用者查詢比對相似 FAQ。示範選用 sentence-transformers/all-MiniLM-L6-v2 將 13 條 FAQ 編碼為 384 維向量,並把向量資料集上載至 Hub,以餘弦相似度找出最相近的 5 條 FAQ。
Hugging Face 示範了將 Transformers 模型匯出為 ONNX 的三種方法,涵蓋低階 `torch.onnx`、中階 `transformers.onnx` 和高階 Optimum。
Hugging Face 宣佈 Intel 加入其 Hardware Partner Program,雙方將透過 Optimum 加速 Transformers 訓練、微調和推理。示例以 Optimum Intel 對微調後的 DistilBERT 分類模型進行訓練後動態量化,準確率由 0.574 降至 0.546,評估步驟快 1.34x。
Hugging Face 深度強化學習課程第 3 單元介紹 Deep Q-Learning,並以 Space Invaders 説明神經網絡如何取代 Q-table,估算各動作的 Q 值。
Graphcore 與 Hugging Face 擴大 Hugging Face Optimum 的 IPU-ready Transformers 陣容,現提供涵蓋自然語言處理、語音及電腦視覺的 10 款模型。各模型附有 IPU 設定檔,以及可直接使用的預訓練和微調權重。開源函式庫 Hugging Face Optimum 提供針對 Graphcore IPU 最佳化的現成模型,方便開發者使用。
Hugging Face Hub 推出 Pull Request 和 Discussions 協作功能,現已向所有模型、資料集及 Spaces 倉庫開放。社羣成員可在 Community 分頁提問、分享建議,並透過網站開啟、評論、合併或關閉 Pull Request。Pull Request 使用直接儲存在來源倉庫的自訂 refs,無需為模型或資料集的每個新版本建立 fork。
推薦理由:Hugging Face Hub 以來源倉庫內的 refs 處理 Pull Request,免去為模型或資料集每個新版本建立 fork,呈現其針對 ML 倉庫簡化協作流程的做法。
Hugging Face 的 Deep Reinforcement Learning Class 第二部分講解 Q-Learning,並帶領學員從零實作強化學習智能體。
Hugging Face 多模態學習團隊為研究項目制定倫理章程,把倫理原則納入機器學習研究生命週期。章程列明須防範歧視、侵犯私隱與權利、生成個人識別資料及有害虛假資訊,並警示醫療、法律、金融和移民等高風險用途。文件截至 2022 年 5 月仍在完善,倡議透明、開放可重現、公平、自我批判及尊重貢獻。
Hugging Face 深度強化學習課程第 2 單元第 1 部分講解價值型強化學習方法,為 Q-Learning 作鋪墊。內容説明狀態價值函數與動作價值函數,並比較蒙地卡羅學習和時間差分學習。本單元第二部分將介紹 Q-Learning 演算法,從零實作智能體,並在 Frozen-Lake-v1 及自動的士環境中訓練。
Hugging Face 推出 Fellowship 計劃,支持不同背景的開源機器學習貢獻者擴大影響力,並鼓勵更多人參與。支援內容按個人需要而定,包括運算資源、周邊物資及 Hugging Face 官方認可;成為 Fellow 須由 Hugging Face 團隊成員或 Fellow 提名。
Hugging Face 研究科學家 Sasha Luccioni 在訪談中談及她對機器學習模型與數據集的倫理、社會影響及環境足跡研究。她擔任 Big Science Workshop 碳足跡工作組共同主席,探討電子郵件排放與製造成本等環境影響,並參與數據整理和多語言工作,避免語料過度偏重英語。
Gradio 3.0 正式推出,全面重設前端,並加入可在 Python 中構建自訂 Web app 的低階 Gradio Blocks API。前端採用 Svelte 等技術,文章稱載荷更小、頁面載入更快;Dataframe 經改良,並新增 Gallery 和 TabbedInterface。
推薦理由:Gradio Blocks 的 Python 範例展示如何組合元件、事件與版面,構建多步驟互動介面,提供可借鑑的實作思路。
Hugging Face 開放首屆學生大使計劃申請,邀請修讀機器學習或在社羣推廣 ML 的學生參與,截止日期為 2022 年 6 月 13 日。計劃於 2022 年 6 月 30 日開始、12 月 31 日結束;獲選者可獲同儕交流網絡、Hugging Face 團隊工作坊與支援、最新項目及功能資訊、周邊商品與素材,以及官方大使認可。
Hugging Face 宣佈完成由 Lux Capital 領投的 $100 Million C 輪融資,Sequoia、Coatue 等也參與投資。Hugging Face Hub 當時託管 100,000 個預訓練模型及 10,000 個數據集,超過 10,000 家公司使用 Hugging Face 建構機器學習技術。公司表示將加大研究、開源、產品及負責任地普及 AI 的投入。
推薦理由:融資用途涵蓋研究、開源、產品與負責任地普及 AI,讀者可從中瞭解 Hugging Face 此輪募資要加速的方向。
Hugging Face Hub 接入 fastai,讓 fastai 使用者可用單行 Python 程式碼上傳 Learner,亦可從 Hub 載入模型。文章介紹 `push_to_hub_fastai` 和 `from_pretrained_fastai`,並示範 fastai 與 Blurr 的模型分享流程。
Hugging Face 的 Deep Reinforcement Learning Class 第一章介紹深度強化學習的基本框架,説明智能體如何透過與環境互動、採取行動並接收獎勵來學習。
作者結合 Kili 與 Hugging Face AutoTrain,為 Google Play 上 Medium 應用程式的評論建立主動學習分類流程,並對分類結果進行情感分析。