OpenAI 發佈開源 GPT OSS 模型系列
OpenAI 發佈 GPT OSS 開源模型系列,包含 117B 參數的 gpt-oss-120b 和 21B 參數的 gpt-oss-20b。兩款均為 MoE 推理模型,採用 MXFP4 4-bit 量化;gpt-oss-120b 可在單張 80 GB GPU 運行,gpt-oss-20b 可在 16GB 記憶體內運行。
推薦理由:文章將兩款模型的量化方式、硬件需求與多種部署路徑整理在一起,便於評估本地推理的資源門檻及接入方式。
OpenAI 發佈 GPT OSS 開源模型系列,包含 117B 參數的 gpt-oss-120b 和 21B 參數的 gpt-oss-20b。兩款均為 MoE 推理模型,採用 MXFP4 4-bit 量化;gpt-oss-120b 可在單張 80 GB GPU 運行,gpt-oss-20b 可在 16GB 記憶體內運行。
推薦理由:文章將兩款模型的量化方式、硬件需求與多種部署路徑整理在一起,便於評估本地推理的資源門檻及接入方式。
文章示範如何以 Gradio 在 Python 中實作 MCP 伺服器,並建立可瀏覽服裝網站、呼叫 IDM-VTON 虛擬試穿的 AI 購物助手。Gradio 會把應用程式的 API endpoint 自動轉為具名稱、描述及輸入 schema 的 MCP 工具,並支援即時進度通知和自動檔案上傳。
推薦理由:示例將 Gradio MCP 伺服器、Playwright 網頁瀏覽與 IDM-VTON 虛擬試穿串成工作流程,並列出 VS Code 設定步驟。
Hugging Face 推出免費開源的實驗追蹤 Python 庫 Trackio,提供本地 Gradio dashboard,並可同步至 Hugging Face Spaces 分享。
Hugging Face Blog 介紹開源基準 TimeScope,評估視覺語言模型對 1 分鐘至 8 小時影片的理解能力。基準在長影片中插入約 5–10 秒短片,分別測試局部檢索、資訊綜合和細粒度時間感知。結果顯示模型表現會隨影片變長而下降;Gemini 2.5-Pro 是唯一在超過一小時影片上仍維持良好準確率的模型,而千問(Qwen)2.5-VL 在文字資訊綜合較強、細粒度動態辨識較弱。
NVIDIA NIM 現可透過單一 Docker 容器部署 Hugging Face 上逾 100,000 個 LLM。NIM 會自動識別模型格式、架構和量化格式,並在 NVIDIA TensorRT-LLM、vLLM 與 SGLang 間選擇後端及套用預設設定。
推薦理由:文章展示 NIM 如何按模型格式、架構與量化方式自動選擇推理後端,並以部署示例説明從 Hugging Face 模型到 Docker 服務的操作流程。
Gradio 5.38.0 為 MCP 伺服器加入五項改進,包括 File Upload MCP 伺服器、即時進度通知、OpenAPI 轉 MCP、認證標頭支援及工具描述自訂。
Ettin Suite 發佈涵蓋 17M-1B 參數的配對編碼器與解碼器模型,兩者使用相同的 2T tokens 公開數據及訓練配方。編碼器在各項任務及規模上超越 ModernBERT,解碼器則勝過或追平 Llama 3.2 和 SmolLM2。同條件測試中,編碼器在分類和檢索任務較佔優,解碼器在生成任務較佔優;模型涵蓋六種規模,訓練數據公開且可重現。
推薦理由:Ettin 在相同的數據、模型規模與訓練配方下比較編碼器和解碼器,呈現兩類架構在分類、檢索和生成任務上的不同優勢。
Hugging Face 推出 ScreenEnv,這是一個可在 Docker 容器中建立隔離 Ubuntu 桌面環境、用於測試和部署 GUI 智能體的 Python 程式庫。
推薦理由:ScreenEnv 將桌面控制、Docker 隔離與 MCP/API 接入整合在同一工具,並以 smolagents 範例展示如何建立和執行桌面任務智能體。
Hugging Face 分享其官方 MCP Server 的建置經驗,説明 AI 助手如何透過 hf.co/mcp 存取 Hub 及 Spaces 上的 AI 應用。
推薦理由:文章拆解遠端 MCP Server 在傳輸模式、連線狀態與資源開銷上的取捨,並以 Hugging Face 的部署配置呈現決策脈絡。
Hugging Face Blog 示範如何透過 Gradio MCP 伺服器為 LLM 接入工具能力,並以 Flux.1 Kontext[dev] 展示按文字指令編輯圖片。
推薦理由:文章以 Flux.1 Kontext[dev] 示範將 Hugging Face Spaces 的 MCP 服務接入 Cursor,並交代圖片須使用公開 URL,呈現從選擇服務到設定客户端的實作流程。
Pollen Robotics 與 Hugging Face 推出 Reachy Mini,一款面向人機互動、創意編程與 AI 實驗的開源桌面機械人,售價由 $399 起。
推薦理由:Reachy Mini Lite 與 Compute 版分別售 $399 和 $499,連線及供電配置不同,規格表可供對照入門成本與功能取捨。
Hugging Face 發佈 3B 模型 SmolLM3,使用 11.2T tokens 訓練,支援 think / no_think 雙模式推理及最高 128k 上下文。
推薦理由:SmolLM3 公開分階段訓練、長上下文適配與雙模式推理配方,並交代數據配比和模型合併流程,呈現 3B 模型的工程實作路徑。
Hugging Face Blog 示範如何使用 Sentence Transformers 訓練及微調稀疏嵌入模型,介紹 SPLADE、Inference-free SPLADE、CSR 架構,以及資料、損失函數、評估器和訓練器的配置。
推薦理由:文章按 SPLADE、Inference-free SPLADE 與 CSR 的適用情境梳理架構選擇,並以實作例子串連資料、損失函數和評估器配置。
NVIDIA 將 8B 視覺語言模型 Llama Nemotron Nano VL 上架 Hugging Face Hub,亦可透過 NVIDIA NIM API 使用,主打智能文檔處理與 OCR。
Gemma 3n 已接入多個主流開源工具庫,並推出 E2B、E4B 兩種尺寸的 base 與 instruct 版本。支援工具包括 Transformers、timm、MLX、llama.cpp、Transformers.js 和 Ollama;兩款模型實際參數量為 5B 和 8B,GPU 記憶體佔用約相當於 2B 和 4B 模型。
推薦理由:文章並列模型的實際參數量、GPU 記憶體需求和多個工具庫的接入方式,方便衡量 Gemma 3n 本地多模態部署時的硬件門檻與工具選擇。
SGLang 新增 Hugging Face Transformers 後端整合,讓 Transformers 兼容模型可由 SGLang 執行,未獲原生支援時會自動切換至 Transformers 實作。
Hugging Face 將 Groq 加入 Inference Providers,讓使用者可在 Hub 模型頁面及 Python、JS 客户端 SDK 中透過 Groq 調用模型。
Featherless AI 現已成為 Hugging Face Hub 支援的 Inference Provider,接入模型頁面及 Python、JS SDK 的無伺服器推理服務。
Hugging Face 與 NVIDIA 宣佈合作推出 Training Cluster as a Service,讓研究機構可按訓練需求申請 GPU 叢集,並按訓練運行時長付費。
推薦理由:服務將 GPU 叢集申請、算力採購、部署和訓練排程串起來,並按訓練時長付費,呈現研究機構如何依地區、規模與訓練週期取得所需算力。
Answer.AI 研究人員建立並公開 ReadBench,比較視覺語言模型在文字輸入與文字圖像輸入下讀取、推理及抽取資訊的表現。測試顯示,幾乎所有模型在多模態輸入下表現都有所下降;短於一頁的輸入退化較輕,長文本則顯著退化,研究指出目前將多頁文件直接交給 Visual RAG 尚不可行。
H Company 發佈 Holo1 開源 VLM 系列及 WebClick UI 定位基準,後者收錄 1,639 項 UI 任務。Holo1 系列包括 Holo1-3B 和 Holo1-7B,後者在常見 UI 定位基準的平均準確率為 76.2%。Surfer-H 採用 Holo1 開放權重模型;H Company 稱,該智能體在真實網頁任務上的準確率為 92.2%,每項任務成本為 $0.13。
Hugging Face 發佈 SmolVLA,一款 450M 開源 Vision-Language-Action(VLA)機械人模型,以 LeRobot 社羣數據預訓練,可在消費級硬件上運行。
推薦理由:文中比較社羣數據預訓練前後的成功率,以及同步與非同步推理的完成時間和吞吐量,呈現數據與推理架構各自帶來的變化。
OmniAudio 是一款由 360 度影片生成沉浸式空間音訊的模型,並已獲 ICML 2025 接收。項目已公開推理程式碼、預訓練模型權重及 Sphere360 數據集。Sphere360 收錄超過 103,000 段 10 秒配對影片及 FOA 4 聲道音訊,總計 288 小時。
Hugging Face Diffusers 文章比較五種量化後端在 FLUX.1-dev 上的記憶體佔用與推理時間。BF16 載入後約佔 31.447 GB,bitsandbytes 4-bit 為 12.584 GB、推理需 12 秒;torchao int4_weight_only 為 10.635 GB,但推理需 109 秒。
Microsoft 與 Hugging Face 擴大合作,Azure AI Foundry 現提供 10,000+ 個 Hugging Face 模型供部署,涵蓋文字、音訊和圖像等任務。
Hugging Face 表示,Transformers 將朝跨框架模型定義標準化發展,目標是讓其支援的模型架構更易被其他生態工具採用。目前 Transformers 支援 300+ 種模型架構,平均每週新增約 3 種;團隊計劃簡化建模程式碼和 API,並加強模組化模型定義。
推薦理由:文章交代 Transformers 希望成為跨框架模型定義的共同基礎,並列出簡化模型貢獻流程、提升訓練與推理工具互通的具體方向。
Kaggle 推出與 Hugging Face 的整合,讓 Hugging Face 模型可在 Kaggle 上被發現並連接至 Notebook 使用。
Hugging Face 為 Inference Endpoints 推出新的 OpenAI Whisper 部署方案,效能較前一版本最高提升 8 倍。
推薦理由:文章比較三款 Whisper 變體與 Transformers 基線的轉錄速度及 WER,呈現 Large V3 接近 8 倍的 RTFx 提升與各款相若的 WER 表現。
Gradio 不只是另一個 UI 函式庫,而是透過介面與 API 連接機器學習模型的框架,並提供效能、安全及回應能力保障。它可從單一實作自動生成 REST API 端點及 API 文件,並提供 API Recorder(4.26 引入)、Gradio 5.0 的伺服器端渲染(SSR)、佇列管理和即時串流等功能。
Hugging Face 收購 Pollen Robotics,並開始銷售其開源人形機械人 Reachy 2。Reachy 2 可透過 sales@pollen-robotics.com 電郵訂購,價格為 $70,000,適用於研究、教育和具身 AI 實驗,並兼容 VR。
推薦理由:這宗收購把 Hugging Face 的 LeRobot 開源機械人項目與 Pollen Robotics 的硬件團隊納入同一組織,呈現其軟硬件佈局。
Hugging Face 與 Cloudflare 合作,讓 FastRTC 開發者可透過 Hugging Face token 使用 Cloudflare 的企業級 WebRTC 基礎設施。
Hugging Face 將 Llama 4 Maverick (~400B) 與 Scout (~109B) 的權重上架 Hub,並宣佈 Transformers 與 TGI 支援。
推薦理由:文章整理了長上下文所用的 NoPE、分塊注意力與 temperature tuning 設計,讓讀者瞭解 Llama 4 延伸上下文窗口的架構取捨。
Hugging Face 將 Intel Gaudi 硬件支援原生整合至 Text Generation Inference(TGI)主線程式碼,令大語言模型推理服務可直接部署於 Gaudi。整合支援 Gaudi1、Gaudi2、Gaudi3、多卡推理、視覺語言模型及 FP8 量化,並提供版本為 3.2.1-gaudi 的官方 Docker 映像。
DeepSeek-V3 0324 已登上 Hugging Face Hub,沿用原版架構並採用 MIT 授權,重點改善指令遵循、編碼和數學能力。DeepSeek 團隊列出的 MMLU-Pro、GPQA、AIME 和 LiveCodeBench 分數,分別由 75.9、59.1、39.6、39.2 升至 81.2、68.4、59.4、49.2。
推薦理由:文中提供 MMLU-Pro、GPQA、AIME 和 LiveCodeBench 的更新前後分數,讓讀者可按多項基準逐一比較 DeepSeek-V3 0324 相對原版的提升幅度。
Hugging Face 更新 Inference Endpoints 分析儀錶板,加入即時指標、自訂時間範圍、自動重新整理及副本生命週期檢視。儀錶板會即時顯示請求延遲、回應時間及錯誤率,後端亦經重新設計以加快載入,尤其是高流量端點。副本檢視可追蹤副本由初始化至終止的狀態轉換。
Open R1 的指南示範如何在本機設定 OlympicCoder 7B,並將它接入 VS Code 作為編碼助手。流程使用 LM Studio 載入 LMStudio Community 的 4bit GGUF 版本,再透過 Continue.dev 連接至本機服務 http://localhost:1234/v1。
Hugging Face 已將首批模型與數據集倉庫由 LFS 遷移至 Xet 儲存,總量 4.5 TB,並把 Hub 約 6% 的下載流量切至 Xet 基礎設施。
推薦理由:文章以首批倉庫遷移為例,交代下載開銷與節點負載失衡如何在真實流量下浮現,以及分階段遷移如何避免服務中斷。
Google 發佈 Gemma 3 開放權重模型系列,提供 1B、4B、12B、27B 四種規模及預訓練、指令微調版本。4B、12B、27B 版本支援圖像和文字、140+ 種語言及 128k tokens 上下文;1B 版本僅支援文字和英文,提供 32k 上下文。
推薦理由:文章整理 Gemma 3 各版本的上下文、圖像與語言支援差異,並列出 Transformers、MLX 和 llama.cpp 的推理入口,方便比較使用路徑。
Hugging Face Blog 的教程示範以 React Native 建立手機應用,在裝置本地執行 LLM 聊天。應用從 Hugging Face Hub 下載 GGUF 模型,並以 llama.rn(llama.cpp 的 binding)載入,教程涵蓋 Android 和 iOS。文章亦介紹 GGUF 量化格式、手機選模取捨,以及逐 token 生成與推理速度追蹤等功能。
推薦理由:文章按模型選擇、GGUF 下載與載入、聊天介面逐步拆解 React Native 實作,並説明量化格式與設備能力的取捨,可作為端側 LLM 應用的開發參考。
Hugging Face 與 JFrog 合作,將 JFrog 掃描器整合至 Hugging Face Hub,以分析模型權重中的程式碼並減少誤報。現有 picklescan 按模組名稱作模式匹配,JFrog 則會解析程式碼、檢查潛在惡意用法,並可捕捉 pickle 與 Keras Lambda layers 的相關利用方式。
推薦理由:JFrog 會解析模型權重中的程式碼,補充 picklescan 以模組名稱作模式匹配的檢查方式,並讓公開模型倉庫自動納入掃描。