跳到正文
目前篩選:一手
  1. Hugging Face Blog71

    Inkling 2 Mini 發佈,面向本地部署的多模態 MoE 模型

    Thinking Machines Lab 與 Hugging Face 發佈 Inkling 2 Mini,一款支援 1M-token 上下文及圖像、文字輸入的本地多模態 MoE 模型。

    推薦理由:文章拆解 Inkling 2 Mini 如何重用中間層權重、透過跨輪訊息逐步修正計算,讓 24 個實體層執行相當於 48 個邏輯層的計算,呈現循環式架構的設計。

  1. Hugging Face Blog65

    Transformers 如何在 32GB Mac 上推理 180B MoE 模型,解碼速度接近 Strata

    Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。

    推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。

  1. Hugging Face Blog67

    Rumble-2-Flash 開源,支援 40+ 種語言的 0.5B 語音辨識模型

    Rumble-2-Flash 以 Apache 2.0 授權開源,是支援 40+ 種語言的 0.5B 語音辨識模型。在 Open ASR Leaderboard 多語言賽道,它跨 9 種語言的平均錯誤率為 6.96%,優於 Meta 的 omniASR-LLM 7B 和 Whisper large-v3。

    推薦理由:文章以多語言辨識榜單及真實客服通話基準比較 Rumble-2-Flash,呈現小型模型在不同語音條件下的錯誤率表現。

  1. Hugging Face Blog76

    Hugging Face 與 OpenRouter 合作,簡化開放權重模型的調用

    Hugging Face 宣佈與 OpenRouter 合作,將 Inference Providers 的語言模型請求改由 OpenRouter 路由,按供應商即時價格、速度和可靠性選擇服務商,並在失敗時改由其他供應商重試。

    推薦理由:文章説明語言模型路由如何按即時價格、速度和可靠性選擇供應商,並交代故障重試及自備 API key 不再適用的影響。

  1. Hugging Face Blog64

    LLMON 標記語言隨 Granite 4.1 3B 和 8B 實驗預覽模型推出

    LLMON 隨兩款基於 Granite 4.1 base models 的實驗預覽模型推出:granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview,支援讀取及生成 LLMON 標記文本。

    推薦理由:文章説明 LLMON 如何以明確分隔指令與資料的方式應對靜態間接提示詞注入,並列出相對前沿及開源模型的基準比較。

  1. Hugging Face Blog62

    TRELLIS.2 的 LoRA 微調指南:調整鞋類 3D 幾何生成

    Hugging Face Blog 提供 TRELLIS.2 微調指南、腳本及 Docker 容器,示範如何用 LoRA 針對鞋類 3D 幾何生成進行微調。實驗使用 GSO 的 188 件鞋類物件,只微調 sparse-structure flow DiT 和 shape flow DiT,並凍結 texture flow DiT;其中 9 件留作評估。

    推薦理由:文章示範如何按任務與資料特性選擇 TRELLIS.2 的微調部件,並以留出鞋類物件的幾何指標比較調整前後結果。

  1. Hugging Face Blog61

    多向量嵌入模型的 Token Pooling 感知訓練方法

    文章示範如何用 Sentence Transformers 為多向量嵌入模型加入 Token Pooling 感知訓練,令模型同時以原始及壓縮後的文件向量進行檢索訓練。

    推薦理由:文章將壓縮後的檢索目標納入訓練損失,並在相同儲存預算下比較一般訓練與池化感知訓練的檢索品質保留差異。

  1. Hugging Face Blog64

    Hugging Face 生態系如何支援決策模型

    Hugging Face 將決策模型支援整合至 Transformers,並以共通介面讓模型根據狀態、問題及允許答案輸出結構化決策和機率。

    推薦理由:文章比較決策模型與傳統分類、零樣本分類的定位差異,並展示 Transformers 與 llama.cpp 如何透過共通介面處理選項、序位評分及是非判斷。

  1. Hugging Face Blog65

    深入瞭解 Phonon TTS:推出高質素裝置端語音生成,基準測試表現領先

    Phonon TTS 推出兩款可在裝置上離線運行的文字轉語音模型,合計支援五種語言。兩款模型約為 65 MB 和 75 MB;Phonon 31m 採 Apache 2.0,Phonon 40m 涵蓋五種語言並採非商業授權。

    推薦理由:文章同時交代 Phonon 的離線運行方式、授權與多語言支援,並對照 Open TTS Leaderboard 的可理解度及速度表現,呈現小型語音模型的部署特點。

  1. Hugging Face Blog69

    Hugging Face 提出 transformers-mic 模型整合測試契約標準

    Hugging Face 提出 transformers-mic,將縮小版模型、可執行的使用路徑及人工審核基線組成 Model Integration Contract,用於在 PR 中檢查模型整合回歸。

    推薦理由:文章交代如何以縮小版模型、可執行的使用路徑及人工審核基線建立測試契約,並展示其在 CPU 上重現 UMT5 回歸的過程。

  1. Hugging Face Blog80

    Mistral Large 4(Le Chonk)登陸 Hugging Face,提供模型權重與部署指南

    Mistral Large 4(Le Chonk)以開放權重形式登上 Hugging Face,提供 FP8 和 NVFP4 兩個官方版本。模型是多模態、多語言 MoE,約有 1T 總參數、49B 活躍參數及 1M tokens 上下文窗口,支援文字和圖片輸入並生成文字。

    推薦理由:文章整理 Mistral Large 4 在 Transformers、vLLM 和 llama.cpp 的部署方式,並附上不同硬件配置與上下文長度下的實測速度,提供實際部署參考。

  2. Hugging Face Blog62

    AnySpeechRecognizer 與 AnyDecisionModel 推出 Apple 平台語音辨識及決策套件

    AnySpeechRecognizer 與 AnyDecisionModel 兩個 Swift 套件正式公佈,分別為 Apple 平台提供可選擇辨識引擎的語音轉文字功能,以及輸出型別化答案和機率的決策 API。

    推薦理由:文章列出語音模型的測試結果、下載體積及平台限制,讓讀者可比較 Apple 裝置本機部署的取捨。

  1. Hugging Face Blog76

    NVIDIA 推出 Nemotron 3.5 Transcribe,並公開 Granary v2 多語言語音資料及整理流程

    NVIDIA 推出開放權重的 Nemotron 3.5 Transcribe,並公開 Granary v2 多語言語音資料及整理流程。模型支援 40 種語言轉錄,其中 31 種可與英文互譯,並支援 13 種語言的説話者標註;Granary v2 公開清單涵蓋 48 種語言、463,062 小時及 16 個來源語料庫。醫療語音案例中,微調令留出説話者的 WER 較最佳提示詞基線相對下降 45.8%。

    推薦理由:文章串連提示詞控制、資料整理與微調流程,並以留出説話者的醫療語音評估呈現 WER 相對下降 45.8% 的結果。

  2. Hugging Face Blog66

    用 LFM3 構建專用多模態模型

    Liquid AI 發佈 LFM3 新一代模型系列,以共享骨幹涵蓋文字、視覺、音訊、全模態及決策模型。LFM3-1.7B 以少 35% 參數超越 LFM2.5-2.6B;文字模型的上下文窗口為 256K,所有模型均可在單張 GPU 微調。LFM3 全系列採開放權重,現已在 Hugging Face 提供。

    推薦理由:LFM3 將文字、視覺、音訊與決策模型建基於同一骨幹,並支援單張 GPU 微調及端側部署,呈現小型模型按任務專門化的實作路徑。

  1. Hugging Face Blog62

    ThinkingBox-Training 開放 GitHub,將資料庫終態檢查用作智能體後訓練獎勵

    ThinkingBox-Training 已在 GitHub 開放,將智能體完成任務後的資料庫終態可執行檢查用作後訓練獎勵。以 GRPO 對 Qwen3.8-27B 訓練 50 步後,在 ThinkingBox-Bench 的 507 項任務(每項測試 20 次)中,pass@1 由 51.70% 升至 60.78%,20 次全部成功的任務由 38 項增至 107 項。

    推薦理由:文章展示如何把資料庫終態的可執行檢查轉成智能體後訓練獎勵,並按基礎策略成功率篩選任務,説明混合成敗回報如何為 GRPO 提供組內對比。

  1. Hugging Face Blog70

    Hugging Face 推出 TorchTPU,為 PyTorch 加入原生 TPU 支援

    Hugging Face 推出 TorchTPU,為 PyTorch 加入原生 TPU 後端,並讓 Transformers、Diffusers 和 Kernels 原生支援 TPU。

    推薦理由:文章展示 TorchTPU 如何把 TPU 接入 PyTorch 及 Hugging Face 常用庫,並以測試通過率和問題修復數據呈現目前支援狀況。

  2. Hugging Face Blog74

    PyTorch 2.15 為 Mac MPS 加入 FP8 支援並加快模型解碼

    PyTorch 2.15 為 Mac 的 MPS 後端加入 FP8 支援,並加快 LLM 解碼及多項 Metal 運算。在 M3 Ultra 使用 torch.compile 時,Qwen3.6-35B-A3B 的 MoE 解碼速度由 9.4 升至 61.3 tokens/s;Wan2.2 影片 VAE 解碼的峯值驅動程式記憶體由約 270 GiB 降至約 8 GiB。

    推薦理由:文章列出 Mac MPS 上的模型解碼提速和 Wan2.2 影片 VAE 記憶體降幅,具體呈現 PyTorch 2.15 後端更新對本機推理工作負載的變化。

  1. Hugging Face Blog68

    TorchNeuron 為 AWS Trainium 提供 PyTorch 原生後端

    TorchNeuron 為 AWS Trainium 提供 PyTorch 原生後端,令 Transformers、Diffusers 等 Hugging Face 函式庫可直接使用 Trainium。

    推薦理由:文章比較 Optimum Neuron 與 TorchNeuron 的執行方式,並提供推理、微調及圖像生成範例,呈現 Trainium 接入 Hugging Face 工作流程的具體變化。