使用 🤗 Evaluate 評估語言模型偏差
Hugging Face 團隊在 🤗 Evaluate 加入多項偏差評估指標,並示範如何檢視因果語言模型根據提示詞生成的文本。示例使用 Toxicity、Regard 和 HONEST 評估文本毒性、不同羣體的語言極性差異,以及有害句子完成中的性別刻板印象。文章提醒,現有資料集涵蓋的身份特徵有限,這些指標只能呈現偏差的不同面向,建議結合多種指標使用。
Hugging Face 團隊在 🤗 Evaluate 加入多項偏差評估指標,並示範如何檢視因果語言模型根據提示詞生成的文本。示例使用 Toxicity、Regard 和 HONEST 評估文本毒性、不同羣體的語言極性差異,以及有害句子完成中的性別刻板印象。文章提醒,現有資料集涵蓋的身份特徵有限,這些指標只能呈現偏差的不同面向,建議結合多種指標使用。
Hugging Face Blog 以 MNIST 示例講解 PyTorch DDP、Accelerate 與 Transformers Trainer 如何用於多 GPU 或多機分散式訓練。
Hugging Face 團隊記錄了為 BLOOM 建置推理伺服器的優化過程,稱數週內將延遲降低 5x、吞吐量提升 50x。改用 Tensor Parallelism 後,延遲由 300ms/token 降至 91ms/token,吞吐量升至 10RPS;其後透過 torch.jit.script 和自訂 kernel 將延遲再降至 71ms/token。
推薦理由:文章以 BLOOM 的實測串連並行策略、算子融合和批次服務的取捨,呈現大型模型推理優化中如何平衡延遲與吞吐量。
Hugging Face 示範如何使用離線強化學習資料,從零訓練 Decision Transformer,使其學習 Gym HalfCheetah 環境中的奔跑行為。
Megatron-LM 可在 NVIDIA GPU 上用於訓練 GPT2,並可將訓練後的模型轉換為 Transformers 支援的格式。教程以 110M 參數的 CodeParrot 為例,涵蓋資料預處理、8 張 GPU 訓練(約需 12 小時)及權重轉換。文章指出額外的預處理和轉換會增加時間開銷,建議將 Megatron-LM 用於預訓練或較長時間微調,而非中型模型的短期微調。
這篇教程示範如何在 Hugging Face Spaces 中使用 3Dmol.js 和 Gradio HTML 區塊呈現蛋白質結構。示例應用接受 4 位 PDB code 或上傳的 PDB 檔案,並透過 iframe 顯示結構。2024 年 5 月更新建議使用 Molecule3D Gradio Custom Component,讓用户可即時修改蛋白質可視化,亦更容易設定預設可視化。
Hugging Face 文章示範如何用 Diffusers 的 StableDiffusionPipeline 執行 Stable Diffusion 文生圖,並介紹模型原理及自訂推理流程。
推薦理由:文章從 Stable Diffusion 的基礎生成示例延伸至參數設定與自訂推理流程,並解釋 VAE、U-Net 和文字編碼器在潛在空間生成中的分工,提供拆解 Diffusers pipeline 的實用脈絡。
Hugging Face Blog 示範將 🤗 Transformers 中以 TensorFlow 實作的 ViT B/16 部署至 Vertex AI,並透過 Python SDK 建立端點及發送預測請求。文章説明模型版本管理、流量分配、監控與資源設定,並記錄 Locust 本機負載測試約發出 17230 次請求,平均延遲為 646 Milliseconds。
Hugging Face 將 LLM.int8() 整合至 Transformers 與 Accelerate,透過混合 INT8/FP16 矩陣乘法降低大型語言模型推理所需的記憶體。
推薦理由:文章串連 LLM.int8() 的離羣特徵處理、效能比較與 Transformers 整合細節,呈現 8-bit 量化降低大型模型記憶體需求的實作脈絡。
Hugging Face 説明 Transformers 的 TensorFlow 設計取向,將模型和層設為 Keras Model 與 Keras Layer,讓使用者可直接調用 fit()、compile() 和 predict()。
推薦理由:文章梳理 Hugging Face Transformers 對 TensorFlow 的六項設計取向,並以 Keras 訓練、資料管線、XLA 與部署示例,呈現這些取捨如何落實到模型訓練和部署流程。
Hugging Face Blog 示範如何以 Docker 和 TensorFlow Serving,將 🤗 Transformers 的 Vision Transformer(ViT)部署至 Kubernetes。
Hugging Face 深度強化學習課程第 8 單元講解 PPO(近端策略優化),説明其透過裁剪策略概率比限制更新幅度,以提升訓練穩定性。文章介紹裁剪替代目標函數,並以 PyTorch 從零實作 PPO,在 CartPole-v1 和 LunarLander-v2 測試;示例裁剪範圍為 [0.8,1.2](ϵ=0.2)。
Hugging Face 為 🤗 Datasets 新增音訊與圖像資料集文件,並更新 Quickstart,提供使用 PyTorch 或 TensorFlow 載入及處理資料集的端到端示例。
Hugging Face Transformers 的 Vision Transformer(ViT)圖像分類模型,可使用 TensorFlow Serving 在本機部署並透過 REST 或 gRPC 提供服務。教程將圖像解碼、縮放至 224×224、正規化及分類後處理整合至 SavedModel,使其接收 base64 編碼圖像並輸出分類標籤和信心度。
Hugging Face 深度強化學習課程第 7 單元講解 Advantage Actor Critic(A2C),以 Actor 和 Critic 結合政策式與價值式方法,降低 Reinforce 策略梯度估計的方差並穩定訓練。課程使用 Stable-Baselines3,在 PyBullet 機械人模擬環境訓練雙足步行者和蜘蛛智能體。
Hugging Face 的教學以 MNIST 手寫數字識別示範,如何動態收集人類生成的對抗樣本並用於模型訓練。示範模型訓練 20 epochs 後,在測試集準確率為 89%;用户可在 Spaces 畫布書寫 0-9,並標記能騙過模型的樣本。樣本累積至門檻後會用來再訓練模型,並重複多輪,以提高模型穩健性。
作者以 Sentence Transformers 和 Gradio 構建歌單生成器,透過對歌詞嵌入向量進行語義搜索,按文字提示找出相關歌曲。由於所選模型的最大序列長度為 512 word pieces,歌曲歌詞先按 verse 切分並逐段嵌入;設置 top_k=20 時,作者實測幾乎總能得到至少 9 首不同歌曲。
Hugging Face 提供 Twitter 情感分析入門指南,示範適用於程式開發者與非程式開發者的操作流程。程式開發者可用 Tweepy 收集推文,透過 Inference API 分析正面、負面或中性情緒,並將結果視覺化;非程式開發者則可用 Zapier 分析推文,並將結果傳送至 Google Sheets。
Hugging Face 深度強化學習課程第 5 單元以 PyTorch 從零實作 REINFORCE,並在 CartPole-v1、PixelCopter 和 Pong 測試其穩健性。策略梯度以梯度上升直接最佳化策略,毋須先學習價值函數;隨機策略可促進探索,在高維及連續動作空間中亦較有效。其限制包括可能收斂至局部極值、訓練時間較長及高方差。
這篇入門指南以 Sentence Transformers 為例,介紹初學者如何理解文本嵌入向量與語義搜尋,並規劃首個自主機器學習項目。文章建議先盤點工具能力、挑選感興趣的資料集,再配合一項熟悉的輔助工具構思項目。
Hugging Face Blog 以 Medicare FAQ 示範語義搜尋流程,使用 Inference API 生成嵌入向量,再以使用者查詢比對相似 FAQ。示範選用 sentence-transformers/all-MiniLM-L6-v2 將 13 條 FAQ 編碼為 384 維向量,並把向量資料集上載至 Hub,以餘弦相似度找出最相近的 5 條 FAQ。
Hugging Face 示範了將 Transformers 模型匯出為 ONNX 的三種方法,涵蓋低階 `torch.onnx`、中階 `transformers.onnx` 和高階 Optimum。
Hugging Face 深度強化學習課程第 3 單元介紹 Deep Q-Learning,並以 Space Invaders 説明神經網絡如何取代 Q-table,估算各動作的 Q 值。
Cohere、OpenAI 與 AI21 Labs 制定了一套初步最佳實踐,適用於任何開發或部署大型語言模型的組織。
Hugging Face 的 Deep Reinforcement Learning Class 第二部分講解 Q-Learning,並帶領學員從零實作強化學習智能體。
Hugging Face 深度強化學習課程第 2 單元第 1 部分講解價值型強化學習方法,為 Q-Learning 作鋪墊。內容説明狀態價值函數與動作價值函數,並比較蒙地卡羅學習和時間差分學習。本單元第二部分將介紹 Q-Learning 演算法,從零實作智能體,並在 Frozen-Lake-v1 及自動的士環境中訓練。
Hugging Face 的 Deep Reinforcement Learning Class 第一章介紹深度強化學習的基本框架,説明智能體如何透過與環境互動、採取行動並接收獎勵來學習。
作者結合 Kili 與 Hugging Face AutoTrain,為 Google Play 上 Medium 應用程式的評論建立主動學習分類流程,並對分類結果進行情感分析。
文章示範以 amazon_reviews_multi 的英文資料微調 microsoft/deberta-v3-base,建立五類情感分類模型以篩選最不滿意的客户訊息。測試中,模型識別出約 95% 的極度不滿意訊息,並把約 12% 的中立或滿意訊息誤判為需要回覆。按每日 10,000 則訊息的假設估算,人工工作量可減少約 83%;文章指出,實際應用需要貼近業務情境的高質素訓練數據。
推薦理由:文章由任務界定、資料集篩選延伸至微調與業務指標設計,展示如何把模型評估對準客服實際處理目標。
Hugging Face Hub 可用 huggingface_hub 的 emissions_thresholds 按模型訓練 CO2 排放篩選模型,Transformers 則可透過 CodeCarbonCallback 記錄訓練排放。
Hugging Face Blog 提供以自訂資料集微調 SegFormer 語義分割模型的教程,涵蓋資料準備、訓練和推理。示例使用自建的人行道標註資料集微調預訓練的 SegFormer B0,並以 mIoU 評估分割結果。教程亦介紹將模型推送至 Hugging Face Hub,並透過推理小工具試用。
🤗 datasets 教程示範為 10,000 張來自 British Library 數碼化書籍的插圖建立文字搜圖流程。作者使用 sentence_transformers 的 CLIP 將圖片和文字提示詞轉成嵌入向量,再以 FAISS 檢索相似圖片;完整數據集網址為 https://doi.org/10.21250/db17。
Hugging Face 提供端到端教程,示範如何以 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分類推理。
OpenAI 分享對已部署模型的安全與濫用問題的最新思考,期望協助其他 AI 開發者應對相關問題。
這篇教程示範使用 🤗 Datasets 與 🤗 Transformers,將預訓練模型 google/vit-base-patch16-224-in21k 微調為豆類葉片圖像分類器。
推薦理由:文章以 beans 葉片分類串起資料載入、ViT 圖像預處理、Trainer 微調與評估,並展示資料即時轉換及訓練參數設定。
Runway 探討如何分發即時影片處理工作,以減少工作在串流伺服器上的等待時間,降低影片播放延誤及中斷。文章指出,HTTP 負載平衡器會把新工作推送至伺服器,繁忙時可能令部分伺服器工作過多、其他伺服器閒置,造成延遲及回應時間波動。
Hugging Face 宣佈課程第二部分將於 11 月 15 日推出,並於 11 月 15 日至 16 日舉辦社羣活動。課程涵蓋 token 分類、因果與遮罩語言建模、翻譯、摘要和問答,並深入介紹 🤗 Datasets 與 🤗 Tokenizers。活動包括兩日演講及以 NLP 任務微調模型的團隊項目;AWS 將透過 Amazon SageMaker 向參與者提供免費運算資源。
AI Chatbot 以自然語言理解及大型語言模型處理客戶對話,可應用於客服、銷售篩選、預約及跨渠道溝通。內容比較傳統規則型 Chatbot、AI Chatbot 與 AI Agent,並整理 ManyChat、Intercom Fin、SleekFlow、WATI 和 Chatfuel 的功能及適用場景。選擇方案時,企業需考慮渠道整合、知識庫、人工客服轉介、數據安全及收費。
Croucher ASI 為期 4 天的「AI 加速器前沿:技術、電路與應用」工作坊於 8 月下旬在香港科學園舉行,由 Croucher Foundation 資助。活動包括 7 場公開專題講座、4 場專題工作坊、海報展示、實驗室參觀及小組討論,並獲本地和海外參加者好評。參加者可瞭解尖端技術、硬件架構及應用的最新資訊,並與全球專家交流。
Hugging Face 首篇系列文章以 BERT 為例,測試並分析 CPU 核心配置、NUMA 親和性與多模型實例如何影響推理延遲及吞吐量。結果顯示,小型及中型問題使用單一 socket 通常延遲較佳,大型問題則可利用雙 socket;多實例方案的吞吐量接近線性擴展。文中舉例,8 核實例為 0.808$/h,48 核機器則為 4.848$/h,前者成本降低 6x。