跳到正文
目前篩選:教學
  1. Hugging Face Blog65

    Transformers 如何在 32GB Mac 上推理 180B MoE 模型,解碼速度接近 Strata

    Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。

    推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。

  1. Hugging Face Blog62

    TRELLIS.2 的 LoRA 微調指南:調整鞋類 3D 幾何生成

    Hugging Face Blog 提供 TRELLIS.2 微調指南、腳本及 Docker 容器,示範如何用 LoRA 針對鞋類 3D 幾何生成進行微調。實驗使用 GSO 的 188 件鞋類物件,只微調 sparse-structure flow DiT 和 shape flow DiT,並凍結 texture flow DiT;其中 9 件留作評估。

    推薦理由:文章示範如何按任務與資料特性選擇 TRELLIS.2 的微調部件,並以留出鞋類物件的幾何指標比較調整前後結果。

  1. Hugging Face Blog61

    多向量嵌入模型的 Token Pooling 感知訓練方法

    文章示範如何用 Sentence Transformers 為多向量嵌入模型加入 Token Pooling 感知訓練,令模型同時以原始及壓縮後的文件向量進行檢索訓練。

    推薦理由:文章將壓縮後的檢索目標納入訓練損失,並在相同儲存預算下比較一般訓練與池化感知訓練的檢索品質保留差異。

  1. Hugging Face Blog64

    Hugging Face 生態系如何支援決策模型

    Hugging Face 將決策模型支援整合至 Transformers,並以共通介面讓模型根據狀態、問題及允許答案輸出結構化決策和機率。

    推薦理由:文章比較決策模型與傳統分類、零樣本分類的定位差異,並展示 Transformers 與 llama.cpp 如何透過共通介面處理選項、序位評分及是非判斷。

  1. Hugging Face Blog69

    Hugging Face 提出 transformers-mic 模型整合測試契約標準

    Hugging Face 提出 transformers-mic,將縮小版模型、可執行的使用路徑及人工審核基線組成 Model Integration Contract,用於在 PR 中檢查模型整合回歸。

    推薦理由:文章交代如何以縮小版模型、可執行的使用路徑及人工審核基線建立測試契約,並展示其在 CPU 上重現 UMT5 回歸的過程。

  1. DEV Community76

    如何在自己的電腦上執行 Mistral Large 4

    Mistral Large 4 可下載權重後以 vLLM、SGLang、Transformers 或 llama.cpp 自行部署,也可選用 API 或託管服務。

    推薦理由:文章並列 Mistral Large 4 的 API、託管及自行部署路徑,並整理各方案的硬件門檻與授權限制,便於比較不同部署方式的成本與要求。

  1. DEV Community76

    AI 智能體隔離:假設模型已遭入侵,將影響範圍限制在預設邊界

    LuumenAI 的 Josh Greenwell 在一篇 AI 智能體隔離文章中主張,應假設模型可能遭提示注入或自行越界,並以隔離環境和權限限制控制其可觸及範圍。

    推薦理由:文章將模型遭攻破後的風險拆解為可測試的隔離控制,並用多宗事件説明外連例外與憑證權限如何擴大影響範圍。

  1. DEV Community77

    AI Agent 安全:從九宗真實事故歸納六項控制措施

    文章根據 2025 年 5 月至 2026 年 7 月的九宗公開事故,整理 AI Agent 的三個攻擊面,並提出六項限制損害的控制措施。措施包括隔離智能體、限制憑證權限、保護設定、記錄每次工具呼叫、事前掃描工作區機密資訊,以及預設拒絕。這些措施不能阻止提示詞注入,只能限制被劫持的智能體可觸及的範圍。

    推薦理由:文章按主機、身分與智能體三個攻擊面整理九宗公開事故,再歸納六項事前控制,讓讀者可對照憑證、設定與工作區防護。

  1. Hugging Face Blog81

    用 ML-intern 打造原本不存在的模型

    作者以 ML-intern 建立六個原本沒有的模型,並完成訓練、評估及公開發布到 Hugging Face Hub。文章分享提示詞如何列明數據集與基礎模型,要求先測基準、執行小規模 smoke test 並設定支出上限;六個項目的運算費用合計約 USD 103。

    推薦理由:文章把 ML-intern 的提示詞設計拆成可操作環節,從先測基準、設定小規模 smoke test 到限制預算,並以六個模型專案展示這套流程。

  1. Hugging Face Blog63

    Hugging Face Inference Endpoints、Jobs 和 Buckets 如何支撐 Papers with Code 搜尋

    Hugging Face 以 Inference Endpoints、Jobs 和 Storage Buckets 建立 Papers with Code 混合搜尋系統,為來自 arXiv 和 Daily Papers 的超過 110,000 篇論文維護嵌入向量。

    推薦理由:文章拆解離線批次建向量與線上查詢的分工,並説明端點冷啟動時如何回退全文檢索,呈現混合搜尋進入生產環境的工程取捨。

  1. Hugging Face Blog72

    Sentence Transformers v6.0 多向量(Late Interaction)嵌入模型使用指南

    Sentence Transformers v6.0 新增 MultiVectorEncoder,支援 ColBERT 式多向量檢索。文中示範載入 PyLate 與 Stanford-NLP ColBERT checkpoint、接入檢索索引,以及以同一 API 執行 ColPali 視覺文件檢索。

    推薦理由:文章對照 LateOn 與 DenseOn 在 NanoBEIR 13 個資料集的結果,並以索引體積數據呈現多向量檢索表現與儲存成本的取捨。

  1. Hugging Face Blog62

    PyTorch 效能分析(第 3 部分):用 profiler 剖析 Attention

    Hugging Face Blog 的《PyTorch 效能分析》第 3 篇以 profiler traces 對照手寫注意力與 PyTorch SDPA 各後端的執行情況。

    推薦理由:文章對照 CPU 與 GPU trace,展示如何從 kernel 數量、資料搬移及 CPU 開銷,辨認注意力實作的效能收益與成本。

  1. Hugging Face Blog68

    用一條命令在 HF Jobs 上執行 vLLM 伺服器

    Hugging Face Blog 示範用一條命令在 HF Jobs 上以 vLLM 啟動私有、OpenAI-compatible 的 LLM 端點。內容提供 curl 和 Python OpenAI client 呼叫範例,並示範以 SSH、Gradio 及 Pi 延伸使用;每次請求須附上具該 Job 讀取權限的 HF token。

    推薦理由:文章把 HF Jobs、vLLM 與 OpenAI-compatible API 的部署、驗證和停止流程串成可複用命令,並説明私有端點的 token 權限與成本控制。

  1. Hugging Face Blog68

    Hugging Face 以 agent-eval 評測開源模型操作 transformers 的成功率與成本

    Hugging Face 測試開源模型使用 transformers,CLI 與 Skill 縮短大型模型耗時,卻可能降低小模型成功率。Qwen3-14B 在 classify-sentiment 任務中,clone 環境的匹配率為 100%,Skill 環境則降至 0%。agent-eval CLI 可套用於其他命令列工具,並記錄匹配率、tokens、耗時、錯誤、行為標記及執行軌跡。

    推薦理由:評測不只看任務是否成功,也追蹤 tokens、耗時與操作路徑,呈現 CLI 與 Skill 對大小模型的影響並不一致。

  1. Hugging Face Blog61

    PyTorch 效能分析(第二部分):從 nn.Linear 到融合式 MLP

    Hugging Face Blog 第二篇 PyTorch 效能分析教程,從 nn.Linear 追蹤至 GeGLU MLP。

    推薦理由:文章對比 eager、torch.compile 與 Liger,展示 MLP 融合如何減少 HBM 往返,以及固定形狀特化與跨形狀通用的取捨。

  1. Hugging Face Blog70

    智能體如何串接兩個 Hugging Face Spaces 建成巴黎地標 3D 畫廊

    編碼智能體串接兩個 Hugging Face Spaces,生成巴黎地標圖像及 3D Gaussian splats,並將畫廊部署為靜態 Space mishig/monuments-de-paris。

    推薦理由:案例展示了透過 Hugging Face Spaces 的 agents.md 串接圖像生成與單圖 3D 重建,並以各一句提示複用到日本及埃及主題畫廊,呈現多媒體工作流的可遷移性。

  2. Hugging Face Blog65

    如何將 GitHub CI 遷移至 Hugging Face Jobs

    Hugging Face Blog 示範如何把 GitHub Actions 的 CI 工作交由 Hugging Face Jobs 執行,並以 Trackio 展示透過臨時 self-hosted runner 連接兩者的方式。

    推薦理由:文章給出 GitHub Actions 接入 Hugging Face Jobs 的操作流程,並説明 workflow 標籤設定。

  1. Hugging Face Blog64

    PyTorch 效能分析(第 1 部分):torch.profiler 初學者指南

    Hugging Face Blog 發佈 PyTorch 效能分析系列首篇入門指南,示範 torch.profiler 的設定,以及 profiler 表格和 CPU、GPU 軌跡的讀法。

    推薦理由:文章以矩陣乘加示範如何結合 profiler 表格與 CPU、GPU 軌跡辨認瓶頸,並區分調度層融合與實際 GPU kernel 融合。

  1. Hugging Face Blog60

    AI 智能體中的 Harness、Scaffold 等術語解析

    Hugging Face 梳理 AI 智能體常見術語,解釋 Model、Scaffolding、Harness、Agent 等概念及其區別。文中將 Harness 定義為調用模型、處理工具調用及決定何時停止的執行層,Scaffolding 則涵蓋系統提示詞、工具描述、回應解析和上下文管理等行為定義層。

    推薦理由:文章以模型、Scaffolding、Harness 與 Agent 的分工建立實用心智模型,並把這套脈絡延伸至訓練術語,便於理解智能體系統的組成與相關討論。