Hugging Face Diffusers 探索量化後端，對比 FLUX.1-dev 的記憶體與推理時間
Hugging Face Diffusers 文章比較五種量化後端在 FLUX.1-dev 上的記憶體佔用與推理時間。BF16 載入後約佔 31.447 GB，bitsandbytes 4-bit 為 12.584 GB、推理需 12 秒；torchao int4_weight_only 為 10.635 GB，但推理需 109 秒。
#部署/工程
#部署/工程
今日 16 條Hugging Face BlogAI 評分5858
Hugging Face BlogAI 評分5757 Microsoft 與 Hugging Face 擴大合作，Azure AI Foundry 提供 10,000+ 個 Hugging Face 模型供部署
Microsoft 與 Hugging Face 擴大合作，Azure AI Foundry 現提供 10,000+ 個 Hugging Face 模型供部署，涵蓋文字、音訊和圖像等任務。
Hugging Face Blog精選AI 評分6565 Hugging Face Transformers 計劃推動模型定義標準化
Hugging Face 表示，Transformers 將朝跨框架模型定義標準化發展，目標是讓其支援的模型架構更易被其他生態工具採用。目前 Transformers 支援 300+ 種模型架構，平均每週新增約 3 種；團隊計劃簡化建模程式碼和 API，並加強模組化模型定義。
推薦理由：文章交代 Transformers 希望成為跨框架模型定義的共同基礎，並列出簡化模型貢獻流程、提升訓練與推理工具互通的具體方向。
Mistral AI精選AI 評分6363 Mistral AI 推出由 Mistral Medium 3 驅動的 Le Chat Enterprise
Mistral AI 推出由 Mistral Medium 3 驅動的 Le Chat Enterprise，將企業搜索、知識整合及自訂 AI 智能體納入同一平台。
推薦理由：Le Chat Enterprise 將企業搜索、知識整合、無代碼智能體建構與多種部署方式整合於同一方案，並交代首批連接器和功能推出節奏。
Mistral AI精選AI 評分6767 Mistral AI 發佈 Mistral Medium 3，主打效能、成本與企業部署
Mistral AI 發佈 Mistral Medium 3，定位為兼顧效能、成本與企業部署的語言模型。Mistral AI 稱，該模型在各項基準測試中的表現達到 Claude Sonnet 3.7 的 90% 或以上，API 定價為每 M token 輸入 $0.4、輸出 $2；亦可部署於任何雲端，包括使用 4 張或以上 GPU 的自託管環境。
推薦理由：文章將 Mistral Medium 3 與 Claude Sonnet 3.7 的基準表現、API 定價和自託管條件放在一起比較，呈現企業部署時效能、成本與部署方式之間的核心取捨。
Hugging Face BlogAI 評分4949 Gradio 不只是另一個 UI 函式庫的 17 個理由
Gradio 不只是另一個 UI 函式庫，而是透過介面與 API 連接機器學習模型的框架，並提供效能、安全及回應能力保障。它可從單一實作自動生成 REST API 端點及 API 文件，並提供 API Recorder（4.26 引入）、Gradio 5.0 的伺服器端渲染（SSR）、佇列管理和即時串流等功能。
Hugging Face BlogAI 評分5959 Hugging Face 與 Cloudflare 合作，讓 FastRTC 開發者接入即時 WebRTC 基礎設施
Hugging Face 與 Cloudflare 合作，讓 FastRTC 開發者可透過 Hugging Face token 使用 Cloudflare 的企業級 WebRTC 基礎設施。
Hugging Face Blog精選AI 評分8383 Llama 4 Maverick 與 Scout 登陸 Hugging Face Hub，支援 Transformers 和 TGI
Hugging Face 將 Llama 4 Maverick (~400B) 與 Scout (~109B) 的權重上架 Hub，並宣佈 Transformers 與 TGI 支援。
推薦理由：文章整理了長上下文所用的 NoPE、分塊注意力與 temperature tuning 設計，讓讀者瞭解 Llama 4 延伸上下文窗口的架構取捨。
Hugging Face BlogAI 評分4444 TGI 在 Intel Gaudi 上加速大語言模型推理
Hugging Face 將 Intel Gaudi 硬件支援原生整合至 Text Generation Inference（TGI）主線程式碼，令大語言模型推理服務可直接部署於 Gaudi。整合支援 Gaudi1、Gaudi2、Gaudi3、多卡推理、視覺語言模型及 FP8 量化，並提供版本為 3.2.1-gaudi 的官方 Docker 映像。
Hugging Face Blog精選AI 評分7777 DeepSeek-V3 0324 登上 Hugging Face Hub，四項基準分數均上升
DeepSeek-V3 0324 已登上 Hugging Face Hub，沿用原版架構並採用 MIT 授權，重點改善指令遵循、編碼和數學能力。DeepSeek 團隊列出的 MMLU-Pro、GPQA、AIME 和 LiveCodeBench 分數，分別由 75.9、59.1、39.6、39.2 升至 81.2、68.4、59.4、49.2。
推薦理由：文中提供 MMLU-Pro、GPQA、AIME 和 LiveCodeBench 的更新前後分數，讓讀者可按多項基準逐一比較 DeepSeek-V3 0324 相對原版的提升幅度。
Hugging Face BlogAI 評分4646 Inference Endpoints 分析儀錶板煥新
Hugging Face 更新 Inference Endpoints 分析儀錶板，加入即時指標、自訂時間範圍、自動重新整理及副本生命週期檢視。儀錶板會即時顯示請求延遲、回應時間及錯誤率，後端亦經重新設計以加快載入，尤其是高流量端點。副本檢視可追蹤副本由初始化至終止的狀態轉換。
Hugging Face Blog精選AI 評分6363 Xet 儲存進入 Hugging Face Hub，首批倉庫完成 4.5 TB 遷移
Hugging Face 已將首批模型與數據集倉庫由 LFS 遷移至 Xet 儲存，總量 4.5 TB，並把 Hub 約 6% 的下載流量切至 Xet 基礎設施。
推薦理由：文章以首批倉庫遷移為例，交代下載開銷與節點負載失衡如何在真實流量下浮現，以及分階段遷移如何避免服務中斷。
Hugging Face Blog精選AI 評分6262 Hugging Face 推出 FastRTC，支援以 Python 建構即時音訊與影片 AI 應用
Hugging Face 推出 FastRTC，這是一個讓開發者以 Python 建構即時音訊與影片 AI 應用的通訊程式庫。它內置語音偵測與輪次控制，提供支援 WebRTC 的 Gradio UI，並可將 Stream 掛載至 FastAPI 應用；亦支援 WebSocket。程式庫另提供語音轉文字、文字轉語音等工具，並可接駁不同 LLM、語音 API 或語音到語音模型。
推薦理由：FastRTC 將語音偵測、輪次控制和即時通訊整合起來，並提供 Gradio 測試介面及 FastAPI 部署方式，展示以 Python 搭建即時語音應用的實作流程。
Hugging Face BlogAI 評分5555 Hugging Face Hub 新增三家無伺服器推理服務商：Hyperbolic、Nebius AI Studio 和 Novita
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家無伺服器推理服務商，並將它們接入模型頁面及 JavaScript、Python 客户端 SDK。
Mistral AIAI 評分5555 Mistral AI 推出 24B 區域語言模型 Mistral Saba
Mistral 推出 24B 參數的區域語言模型 Mistral Saba，支援阿拉伯語及多種印度源語言，並在 Tamil 等南印度源語言上表現尤佳。Mistral 稱，Mistral Saba 的回答比規模超過其 5 倍的模型更準確、相關，且速度更快、成本更低。它可透過 API 使用，也可在客户安全環境內本地部署，並能在單 GPU 系統上以每秒超過 150 tokens 的速度回應。
Hugging Face BlogAI 評分5151 Fireworks.ai 接入 Hugging Face Hub，成為其推理服務提供商
Hugging Face Hub 新增 Fireworks.ai 推理服務支援，用户可在模型頁面及 HF 工具與函式庫中使用無伺服器推理。
Hugging Face Blog精選AI 評分6060 分類、文本嵌入與視覺嵌入處理 1B 筆輸入的成本與延遲評測
這項基準測試比較文字分類、文本嵌入及視覺嵌入的推理配置，估算處理 1B 筆輸入的成本與延遲。在 nvidia-L4（$0.8/hr）上，三類任務每 1B 筆輸入的成本分別為 $253.82、$409.44 和 $44,496.51；測試程式碼見 https://github.com/datavistics/encoder-analysis。
推薦理由：三類實測呈現 GPU、batch size 與並行 VUs 對成本和延遲的影響，並提供可替換模型與硬件重跑的流程，供讀者估算自有配置處理 1B 筆輸入的開支。
Mistral AI精選AI 評分7272 Mistral Small 3 發佈 24B 參數低延遲模型，採 Apache 2.0 授權
Mistral AI 發佈 Mistral Small 3，這款 24B 參數低延遲模型採用 Apache 2.0 授權，並提供預訓練及 instruction-tuned checkpoint。
推薦理由：Mistral Small 3 將 24B 參數、Apache 2.0 開放權重和低延遲定位放在同一發佈中，並提供本地量化運行條件，便於比較小型模型的部署選擇。
Hugging Face Blog精選AI 評分7070 Hugging Face Hub 整合 fal、Replicate、Sambanova 和 Together AI 的無伺服器推理服務
Hugging Face 將 fal、Replicate、Sambanova 和 Together AI 四家無伺服器推理服務整合至 Hub 模型頁面及 JS、Python SDK。用户可使用自己的供應商 API key 直接呼叫並由供應商收費，也可透過 Hugging Face 路由請求，按供應商標準 API 價格計費且不加價。
推薦理由：四家無伺服器推理服務接入 Hub 模型頁面及 SDK，文章亦交代自帶供應商 API key 與 Hugging Face 路由的調用和計費差異，便於評估接入方式。
Hugging Face Blog精選AI 評分6969 Diffusers 中開源影片生成模型的現況
Hugging Face Diffusers 團隊梳理多款開源影片生成模型的能力與限制，並介紹 Diffusers 對影片生成、推理優化及微調的支援。
推薦理由：文章整理多款開源影片模型的資源需求，並以 HunyuanVideo 不同優化設定的數據，呈現量化、卸載和 VAE tiling 對顯存與推理時間的實際取捨。
Hugging Face BlogAI 評分3939 Text Generation Inference 引入多後端支援（TRT-LLM、vLLM）
Hugging Face 為 Text Generation Inference（TGI）引入多後端架構，讓 TGI 作為統一前端接入不同推理引擎，並按模型、硬件及效能需求切換後端。團隊正與 NVIDIA TensorRT-LLM 團隊合作，並計劃於 Q1 '25 將 vLLM 整合為 TGI 後端。TGI Backends 將很快可於 Inference Endpoints 使用。
Hugging Face Blog精選AI 評分6363 如何使用 Sentence Transformers 訓練 CPU 推理速度快 100 至 400 倍的靜態嵌入模型
Hugging Face Blog 公開兩款靜態嵌入模型，稱其 CPU 推理比常見嵌入模型快 100 至 400 倍，且多項基準保留至少 85% 表現。
推薦理由：文章公開兩款模型的訓練配方與資料集，並以 NanoBEIR 結果呈現靜態嵌入模型在 CPU 速度與檢索品質間的取捨。
OpenAI DevelopersAI 評分5757 如何使用 OpenAI Usage API 和 Costs API 監測用量與費用
OpenAI 的範例 notebook 示範呼叫 Completions Usage API 和 Costs API，擷取用量及費用數據並製作監測圖表。程式以分頁方式讀取 API 回應，交由 pandas 整理，再用 matplotlib 繪製每日 token 用量與成本，並按模型、項目及 `line_item` 分組查看統計。
Hugging Face Blog精選AI 評分6161 Hugging Face 83 款開源模型現可在 Amazon Bedrock Marketplace 部署
Hugging Face 的 83 款開源模型現可透過 Amazon Bedrock Marketplace 部署，模型端點由 Amazon SageMaker JumpStart 管理，並支援 Amazon Bedrock API。
推薦理由：材料交代 Hugging Face 的 83 款開源模型如何在 Bedrock Marketplace 部署，以及 SageMaker JumpStart 管理端點、Bedrock API 負責調用的服務銜接方式。
Mistral AI精選AI 評分6262 Mistral AI 推出 Batch API，批次請求成本較同步 API 呼叫低 50%
Mistral AI 推出 Batch API，讓 La Plateforme 上的 Mistral 模型以批次方式處理高流量請求，成本比同步 API 呼叫低 50%。
推薦理由：Batch API 將高流量請求的成本降至同步 API 呼叫的一半，並以檔案提交、處理後下載的流程，適合不要求同步回覆的批量任務。
OpenAI NewsAI 評分2222 Promega 自上而下採用 ChatGPT，加快製造、銷售及市場營銷
Promega 採取由上而下的 ChatGPT 應用方式，帶動製造、銷售及市場營銷業務提速。
Hugging Face BlogAI 評分5959 Hugging Face 與 Protect AI 合作，將 Guardian 整合至 Hub 公開模型掃描
Hugging Face 宣佈與 Protect AI 合作，並將 Guardian 整合至 Hub 掃描套件，所有公開模型倉庫在推送檔案後都會自動接受掃描。
Hugging Face BlogAI 評分5050 發佈 Outlines-core 0.1.0：以 Rust 和 Python 支援結構化生成
dottxt 與 Hugging Face 合作推出 outlines-core，將 Outlines 的結構化生成核心算法移植至 Rust。項目現已公開並整合至 outlines，Python 綁定版本 0.1.0 已推出，索引編譯速度平均提升 2x。輕量化核心讓其他程式庫更易整合結構化生成，亦可建立 Python 以外語言的綁定。
Hugging Face Blog精選AI 評分7373 Stable Diffusion 3.5 Large 登上 Hugging Face Hub，Diffusers 介紹推理與訓練方法
Stable Diffusion 3.5 Large（8B）及其 timestep 蒸餾版（8B）已在 Hugging Face Hub 提供，並可透過 Diffusers 進行推理與訓練。
推薦理由：文章把 Diffusers 中的量化推理與 LoRA 微調落到具體步驟，並提供在 24GB VRAM 消費級 GPU 上微調 SD3.5 Large 的參考路徑。
Hugging Face Blog精選AI 評分7575 Transformers.js v3 發佈，加入 WebGPU 支援並將支援架構增至 120 種
Hugging Face 發佈 Transformers.js v3，新增 WebGPU 支援和量化格式選擇，支援架構總數增至 120 種。官方稱 WebGPU 最高可比 WASM 快 100 倍；此版本另提供 25 個示例專案與範本，以及超過 1200 個已轉換模型。
推薦理由：這次更新把 WebGPU、量化格式選擇及 120 種架構納入同一 JavaScript 庫，並兼容 Node.js、Deno、Bun，展示其瀏覽器與伺服器端部署路徑。
Hugging Face Blog精選AI 評分6060 如何在 Hugging Face Inference Endpoints 部署 Speech-to-Speech
Hugging Face 示範以自訂 Docker 映像，將 Speech-to-Speech（S2S）流程部署至 Hugging Face Inference Endpoints。
推薦理由：文章把多模型語音流程拆解為自訂 Docker 映像、端點設定和 WebSocket 音訊服務等步驟，提供部署複雜推理管線時可參照的實作路徑。
Hugging Face Blog精選AI 評分6060 Hugging Face + Dask 如何擴展 AI 資料處理
Hugging Face Blog 示範以 Dask 和 Coiled 把 FineWeb-Edu 網頁分類流程，從 pandas 本機處理 100 行擴展至雲端多 GPU 處理 211 million 行。
推薦理由：FineWeb-Edu 分類案例呈現了由 pandas 本機小批次測試，擴展至 Dask 與 Coiled 雲端多 GPU 處理 211 million 行資料的完整流程，為大型資料集推理提供可參照的工程做法。
Hugging Face BlogAI 評分5757 Hugging Face 示範如何使用 Optimum-Intel 和 OpenVINO GenAI 優化及部署 Transformers 模型
Hugging Face Blog 示範如何用 Optimum-Intel 和 OpenVINO GenAI 優化 Transformers 模型，並部署至邊緣或客户端環境。
Mistral AI精選AI 評分7878 Mistral AI 發佈 Mistral Small v24.09，並開放 la Plateforme 免費層及下調模型價格
Mistral AI 公佈多項更新，包括 Mistral Small v24.09、la Plateforme 免費層、模型降價及 le Chat 免費提供 Pixtral 12B 圖像理解。
推薦理由：免費層涵蓋開發者的實驗、評估與原型製作，價格表亦列出模型新舊費率及降幅，呈現試用門檻和 API 成本的變化。
Hugging Face BlogAI 評分5252 Hugging Face 發佈 Accelerate 1.0.0 首批候選版本
Hugging Face 發佈 Accelerate 1.0.0 首批候選版本，供社羣在正式版推出前試用及遷移。文章列出多項棄用項目及替代寫法，並提供 `pip install --pre accelerate` 試用方式。Accelerate 支援 CPU、GPU、TPU、XPU、NPU、MLU 六類硬件加速器，並可維持 99% 原有訓練迴圈。
Hugging Face Blog精選AI 評分6464 Hugging Face Hub 上 5 個常被忽略的工具及實作示例
Hugging Face Blog 介紹 Hugging Face Hub 上 5 項常被忽略的工具，並以 Reddit 資料展示自動更新的視覺化語義搜尋流程。
推薦理由：文章以每日更新的 Reddit 資料為例，拆解 Hugging Face Hub 五項工具如何協作，從資料抓取、嵌入向量處理與事件觸發，直到視覺化語義搜尋。
Hugging Face BlogAI 評分5959 如何在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B
Hugging Face Blog 提供了在 Google Cloud Vertex AI 部署 Meta Llama 3.1 405B Instruct FP8 的操作教程，並示範如何以 Text Generation Inference（TGI）執行線上推理。
Hugging Face BlogAI 評分5252 ggml 入門指南：核心概念、矩陣運算與後端使用
Hugging Face Blog 的 ggml 入門指南介紹這個以 Transformer 推理為重點的 C/C++ 機器學習函式庫，並示範其基本用法。文章解釋 ggml_context、ggml_cgraph、ggml_backend 等概念，透過矩陣乘法展示張量建立、計算圖執行和 backend 記憶體配置流程。
Mistral AI精選AI 評分6565 Mistral AI 公佈模型自訂、Agents 早期版本及 mistralai 1.0 SDK
Mistral AI 宣佈在 La Plateforme 開放旗下旗艦及專用模型自訂，並推出 Agents 早期版本及 mistralai 1.0 客户端 SDK。
推薦理由：這次發布把模型自訂、Agents 工作流程與客户端 SDK 更新並列，呈現 Mistral AI 如何涵蓋應用構建中的模型調整、流程編排和程式接入環節。
DeepSeek：API 更新日誌AI 評分6060 DeepSeek API 推出硬碟上下文快取，價格再降一個數量級
DeepSeek API 採用硬碟快取技術，並表示價格因此再降低一個數量級。更新詳情見文件「Context Caching is Available」，日期為 2024/08/02。