PyTorch 效能分析(第 1 部分):torch.profiler 初學者指南
Hugging Face Blog 發佈 PyTorch 效能分析系列首篇入門指南,示範 torch.profiler 的設定,以及 profiler 表格和 CPU、GPU 軌跡的讀法。
推薦理由:文章以矩陣乘加示範如何結合 profiler 表格與 CPU、GPU 軌跡辨認瓶頸,並區分調度層融合與實際 GPU kernel 融合。
Hugging Face Blog 發佈 PyTorch 效能分析系列首篇入門指南,示範 torch.profiler 的設定,以及 profiler 表格和 CPU、GPU 軌跡的讀法。
推薦理由:文章以矩陣乘加示範如何結合 profiler 表格與 CPU、GPU 軌跡辨認瓶頸,並區分調度層融合與實際 GPU kernel 融合。
Python 多模態搜尋教學示範以 Google 的 SigLIP 2 實作文字搜圖及以圖搜圖,並延伸介紹近似最近鄰搜尋(ANN)。內容以 HNSW 解説 ANN,並整理向量降維、量化及以 Recall@k、MRR 評估搜尋結果的實務做法。
Hugging Face 梳理 AI 智能體常見術語,解釋 Model、Scaffolding、Harness、Agent 等概念及其區別。文中將 Harness 定義為調用模型、處理工具調用及決定何時停止的執行層,Scaffolding 則涵蓋系統提示詞、工具描述、回應解析和上下文管理等行為定義層。
推薦理由:文章以模型、Scaffolding、Harness 與 Agent 的分工建立實用心智模型,並把這套脈絡延伸至訓練術語,便於理解智能體系統的組成與相關討論。
Hugging Face 公開 physics-intern,這個面向數學及理論物理研究的多智能體框架,將 Gemini 3.1 Pro 在 CritPt 的得分由 17.7% 提升至 31.4%。
Hugging Face 發佈六款基於 Ettin ModernBERT encoder 的 Sentence Transformers CrossEncoder reranker,參數規模由 17.6M 至 1.00B,並公開訓練數據及完整訓練方案。
推薦理由:文章以 MTEB(eng, v2) Retrieval、NanoBEIR 及多種硬件吞吐測試比較六種尺寸,呈現 Ettin Reranker 在排序品質與速度間的取捨。
PaddleOCR 3.5 為支援的 OCR 與文件解析模型加入 Transformers 推理後端,開發者可透過 `engine` 參數選擇。`engine_config` 可設定 dtype、裝置配置及 attention implementation;若優先考慮 OCR 或文件解析吞吐量,文章通常建議使用預設的 paddle_static 後端。
IBM Granite 發佈兩款採 Apache 2.0 授權的多語嵌入模型:97M 參數的 granite-embedding-97m-multilingual-r2 和 311M 參數的 granite-embedding-311m-multilingual-r2。
推薦理由:文章提供 97M 與 311M 版本在多語檢索、長文及程式碼基準的比較,並交代 Matryoshka 維度選項對儲存與部署取捨的影響。
Hugging Face 為 Open ASR Leaderboard 加入 Appen Inc. 和 DataoceanAI 提供的私有英語 ASR 評測資料集,涵蓋多種口音及朗讀式、對話式語音。
作者以 Python 示範從頭建立向量搜尋流程,涵蓋文字 Embedding、向量儲存、查詢向量化及近鄰搜尋。範例以 sentence-transformers 的 multilingual-e5-base 產生向量,再用 DuckDB VSS 和 HNSW 在本機執行儲存與相似度搜尋;文中亦比較多款模型及向量資料庫。
Hugging Face Inference Providers 現已支援 DeepInfra,初期提供對話與文本生成,可使用 DeepSeek V4、Kimi-K2.6、GLM-5.1 等開放權重 LLM。
Hugging Face 於 2026年4月21日公開 AI 智能體 ml-intern,協助機械學習研究者進行論文調查、數據集檢視、訓練和評估。它提供 CLI 和 Web 應用程式,可搜尋 arXiv 和 Hugging Face Papers、檢視 Hugging Face Hub 數據集;無法使用本地 GPU 時,可透過 Hugging Face Jobs 啟動訓練工作。
Hugging Face Blog 提供 Transformers.js 在 Chrome Manifest V3 擴充功能中運行本地 AI 的實作指南。範例將模型初始化、推理和工具執行集中在背景 service worker,側邊欄提供聊天介面,content script 負責網頁內容擷取及元素標記。
推薦理由:文章拆解 Manifest V3 擴充功能內模型推理、對話狀態與頁面操作的分工,並説明背景 service worker 如何協調模型載入、工具執行與介面訊息。
Overworld 推出 Waypoint-1.5 即時影片世界模型,提升視覺保真度並擴大可本地運行的硬件範圍。桌面硬件 RTX 3090 至 5090 可生成最高 720p、60 FPS 的即時環境;另有面向更廣泛消費級硬件(包括遊戲筆電)的 360p 版本,Apple Silicon Mac 支援即將推出。
推薦理由:Waypoint-1.5 分設 720p 與 360p 檔位,並列明 RTX 3090 至 5090 可達最高 720p、60 FPS,呈現其畫質與本地硬件覆蓋方案。
Sentence Transformers v5.4 的同一 API 現可編碼並比較文字、圖像、音訊和影片,文章示範其多模態嵌入與 reranker 用法。嵌入模型將不同模態映射至共享嵌入空間;預訓練多模態 reranker 目前主要處理文字與圖像配對。示例涵蓋跨模態檢索、混合模態文件重排及先檢索再重排流程,並列出輸入格式、支援模型和安裝依賴。
推薦理由:文章展示 Sentence Transformers v5.4 的跨模態檢索與 reranker 重排流程,並整理支援模型和輸入格式,提供實作參考。
Safetensors 加入 Linux Foundation 旗下的 PyTorch Foundation,成為基金會託管項目。商標、倉庫及項目治理歸 Linux Foundation,Hugging Face 的兩名核心維護者仍在 Technical Steering Committee,並繼續負責日常工作。
推薦理由:Safetensors 轉由 Linux Foundation 治理,原維護者仍帶領項目,使用者所用格式與 API 不變。
美團 LongCat 發佈 LongCat-AudioDiT,這款非自回歸擴散式文字轉語音模型直接在波形潛在空間運作,提供 1B 和 3.5B 版本。作者報告,3.5B 版本在 Seed-ZH 和 Seed-Hard 的 SIM 分數分別為 0.818 和 0.797,較文中所述先前 Seed-TTS 的 0.809 和 0.776 高。
美團 LongCat 發佈 LongCat-AudioDiT-3.5B,這款非自回歸擴散式文字轉語音模型直接在波形潛在空間運作。在 Seed 基準上,LongCat-AudioDiT-3.5B 的 Seed-ZH 與 Seed-Hard 説話人相似度(SIM)分別為 0.818 和 0.797。
Gradio 介紹 gradio.Server,讓自訂前端可使用 Gradio 的後端能力,同時採用自選的前端框架。gradio.Server 擴展 FastAPI,提供自訂路由等功能,並加入 Gradio 的佇列、SSE 串流、並發控制和 gradio_client 相容性。
推薦理由:文章以圖像去背示例展示如何讓自訂 HTML/CSS/JS 前端透過 gradio.Server 使用 Gradio 佇列、並發控制與 ZeroGPU,提供兼顧介面自由度和後端管理的實作參考。
Granite 4.0 3B Vision 現已推出,是面向企業文件理解的緊湊型視覺語言模型,支援表格抽取、圖表理解及語義鍵值對抽取。模型以 LoRA adapter 形式構建於 Granite 4.0 Micro 之上,可獨立使用或配合 Docling,並以 Apache 2.0 授權在 Hugging Face 提供。
Hugging Face 發佈 TRL v1.0,將已實作超過 75 種後訓練方法的研究程式碼庫明確定位為具穩定性契約的函式庫。穩定核心遵循語義化版本,實驗層則可快速變動;從最後一個 0.x 版本升級只需少量遷移。
推薦理由:TRL v1.0 把遵循語義化版本的穩定核心與可快速變動的實驗層置於同一套函式庫,呈現下游穩定需求與新方法迭代之間的契約設計。
Hugging Face 於 2026 年 3 月 24 日公開 hf-mount,可將 Storage Buckets 及模型/數據集儲存庫掛載為本機檔案系統。
Hugging Face 的 2026 年春季報告梳理過去一年開源 AI 生態的變化,指出平台用户、模型和數據集數量均接近翻倍。2025 年,Hugging Face 增至 13 million 名用户、逾 2 million 個公開模型及逾 500,000 個公開數據集;中國模型在過去一年佔平台下載量 41%,並在月度及總下載量上超越美國。
推薦理由:報告把平台增長、地域下載差異和衍生模型放在同一框架,呈現開源 AI 並非單一市場,而是由多個重疊的子生態構成。
Hugging Face 在 Hub 推出 Storage Buckets,為頻繁變動的 ML 產物提供非版本化 S3 類物件儲存。Buckets 建基於 Xet,以分塊及跨檔案去重減少重複傳輸;Enterprise 計費按去重後的儲存量計算。
推薦理由:文章交代 Buckets 與版本化倉庫分別承擔工作層和發布層,並説明 Xet 去重如何減少重複傳輸及 Enterprise 的計費儲存量。
LeRobot 團隊發佈 v0.5.0,擴展機械人硬件、策略模型、資料集處理及模擬環境支援。版本加入 Unitree G1 人形機械人完整支援(包括全身控制)、Pi0-FAST 自回歸 VLA 及 Real-Time Chunking,並新增 EnvHub 以從 Hugging Face Hub 載入模擬環境,亦整合 NVIDIA IsaacLab-Arena。
推薦理由:版本把人形機械人控制、即時推理、模擬環境和資料提速納入同次更新,呈現 LeRobot 從硬件接入至訓練工具鏈的擴展範圍。
Hugging Face 推出 Modular Diffusers,讓使用者以可重用區塊組合擴散模型流程,作為現有 DiffusionPipeline 的更靈活、可組合替代方案。
推薦理由:文章以現成流程、自訂區塊及 Hub 分享示例,展示如何把擴散工作流拆成可檢視、替換並重新組合的元件。
ggml.ai 於 2026 年 2 月 20 日宣佈加入 Hugging Face,並表示將繼續開發 ggml,提升 llama.cpp 的易用程度。加入後,ggml/llama.cpp 維持開源及社羣主導,開發團隊繼續專注維護,Hugging Face 則提供長期可持續資源。
GGML 團隊加入 Hugging Face,並將持續維護 llama.cpp;Hugging Face 會為項目提供長期資源支持。團隊仍將 100% 時間用於維護,並對技術方向及社羣保有完全自主權與領導權;項目會繼續 100% 開源並由社羣推動。雙方計劃讓 transformers library 的模型定義更順暢地用於 llama.cpp,並改善 ggml 軟件封裝及本地模型部署體驗。
推薦理由:文章交代 GGML 團隊加入後 llama.cpp 的維護自主權與資源支持,也列出連接 transformers library 模型定義及改善本地部署體驗的方向。
Gradio 6 的 gr.HTML 現支援自訂 HTML 模板、作用域 CSS 與 JavaScript 互動,讓 LLM 可把前端、後端和狀態管理整合到單一 Python 檔案,構建互動式 Web 應用。
Hugging Face 製作 CUDA kernel 技能,Claude 和 Codex 依此為 diffusers 與 transformers 目標產生可運行的 kernel。
推薦理由:文章拆解如何把 GPU 架構知識、PyTorch 整合範式與基準測試流程封裝成技能,讓編碼智能體產出可構建、可測試的 CUDA kernel 專案。
Hugging Face 宣佈 Transformers.js v4 已上架 NPM,安裝命令為 `npm i @huggingface/transformers`。
推薦理由:v4 支援 Node、Bun 和 Deno 的 WebGPU 加速,預設網頁版縮小 53%,呈現跨環境部署與下載、啟動效率的具體改進。
Hugging Face Hub 推出 Community Evals,讓 benchmark 資料集託管排行榜,並在模型卡片展示評測分數。使用者可透過 PR 為任意模型提交結果,結果會標示為「community」,且可附上論文、Model Card 或評測日誌等來源。資料集可用 eval.yaml 定義評測規格,供他人重現;這項功能目前處於 beta。
推薦理由:Hugging Face 將評測規格、模型分數與社羣提交納入 Hub 的可追溯流程,Hub 的 Git 歷史記錄新增及修改時間,方便聚合比較不同來源的模型成績。
DeepSeek R1 之後,中國開源 AI 生態正由模型擴展至部署、軟硬件協同與治理,開源成為中國 AI 機構近期的主流路徑。截至 2025 年中,逾 113k 個模型以 Qwen 為基礎,逾 200k 個模型倉庫標記 Qwen,遠多於 Meta 的 Llama(27k)和 DeepSeek(6k)。
美團 LongCat 推出 LongCat-Image-Edit-Turbo,這是 LongCat-Image-Edit 的蒸餾版本,僅需 8 NFEs 進行圖像編輯,並提供極低推理延遲。涉及文字生成的文生圖或圖像編輯任務中,提示詞的目標文字須以單引號或雙引號括起;模型會對引號內文字採用專用字符級編碼,未加引號會嚴重影響文字渲染能力。
Gradio 團隊推出開源 Python 函式庫 Daggr,可用程式串接 Gradio 應用、ML 模型及自訂函數,建立 AI 工作流程。Daggr 會自動生成視覺畫布,供使用者檢視中間輸出、修改輸入並單獨重跑步驟,同時保存工作流程狀態。該工具目前處於 beta,更新期間仍可能發生本機保存資料遺失。
Hugging Face 介紹 upskill 如何以 Claude Opus 4.5 完成 CUDA kernel 任務、從任務軌跡生成 Agent 技能,再評估技能對其他模型的效果。文中一個示例中,unsloth/GLM-4.7-Flash-GGUF:Q4_0 的測試表現由 40% 升至 85%;部分模型使用技能後 token 用量反而增加,文章建議逐一比較。
AssetOpsBench 是面向工業資產運維的 AI 智能體基準與評估系統,從六項質性維度評估智能體表現。它涵蓋 2.3M 個感測遙測點、4.2K 張工單及 53 種結構化失效模式,並以 881 條執行軌跡分析失敗。社羣測試中,沒有受測模型達到部署準備門檻 85 分;多智能體任務準確率為 47%,低於單智能體的 68%。
OpenMOSS 於 2026/01/20 公開 ABC-Bench 評測工具及完整數據集,用於評估智能體在真實後端開發中的編碼能力。基準包含 224 項任務,取自 127 個 MIT 授權倉庫,涵蓋 8 種語言和 19 個框架;其中 92 項要求自主配置環境並啟動容器化服務。
OpenAI 於 2026年1月15日公開開源規格 Open Responses,旨在建立可跨多個模型供應商互通的 LLM 介面。它定義共享結構描述、用戶端程式庫及工具層,開發者可一次編寫請求與輸出,經最少調整在多個供應商間執行,並用於模型呼叫、結果串流及 Agent 工作流程。設計採用一致的串流事件和工具呼叫模式,並以 items 作為模型輸出及工具使用的最小單位。
Transformers v5 將分詞器架構與訓練所得的詞彙、合併規則分離,並在類別中明確呈現正規化器等組件。相較 v4 每個模型各有 slow/fast 兩套實作,v5 改為每個模型一個檔案,預設採用 Rust-based TokenizersBackend;分詞器類別亦可直接實例化並用自有語料訓練。
推薦理由:文章對照 v4 與 v5,説明分離分詞器架構和訓練詞彙後,如何更直接檢查組件,並沿用模型架構訓練自訂分詞器。
美團 LongCat 發佈 LongCat-Video-Avatar,統一支援 Audio-Text-to-Video、Audio-Text-Image-to-Video 及影片續接,並提供單人與多人角色動畫模式。