把模型跑起來的工程實踐：推理優化、顯存與成本、Serving 架構與基礎設施選型。
這項基準測試比較文字分類、文本嵌入及視覺嵌入的推理配置，估算處理 1B 筆輸入的成本與延遲。在 nvidia-L4（$0.8/hr）上，三類任務每 1B 筆輸入的成本分別為 $253.82、$409.44 和 $44,496.51；測試程式碼見 https://github.com/datavistics/encoder-analysis。
推薦理由：三類實測呈現 GPU、batch size 與並行 VUs 對成本和延遲的影響，並提供可替換模型與硬件重跑的流程，供讀者估算自有配置處理 1B 筆輸入的開支。
Mistral AI 發佈 Mistral Small 3，這款 24B 參數低延遲模型採用 Apache 2.0 授權，並提供預訓練及 instruction-tuned checkpoint。
推薦理由：Mistral Small 3 將 24B 參數、Apache 2.0 開放權重和低延遲定位放在同一發佈中，並提供本地量化運行條件，便於比較小型模型的部署選擇。
Hugging Face 將 fal、Replicate、Sambanova 和 Together AI 四家無伺服器推理服務整合至 Hub 模型頁面及 JS、Python SDK。用户可使用自己的供應商 API key 直接呼叫並由供應商收費，也可透過 Hugging Face 路由請求，按供應商標準 API 價格計費且不加價。
推薦理由：四家無伺服器推理服務接入 Hub 模型頁面及 SDK，文章亦交代自帶供應商 API key 與 Hugging Face 路由的調用和計費差異，便於評估接入方式。
Hugging Face Diffusers 團隊梳理多款開源影片生成模型的能力與限制，並介紹 Diffusers 對影片生成、推理優化及微調的支援。
推薦理由：文章整理多款開源影片模型的資源需求，並以 HunyuanVideo 不同優化設定的數據，呈現量化、卸載和 VAE tiling 對顯存與推理時間的實際取捨。
Hugging Face Blog 公開兩款靜態嵌入模型，稱其 CPU 推理比常見嵌入模型快 100 至 400 倍，且多項基準保留至少 85% 表現。
推薦理由：文章公開兩款模型的訓練配方與資料集，並以 NanoBEIR 結果呈現靜態嵌入模型在 CPU 速度與檢索品質間的取捨。
Hugging Face 的 83 款開源模型現可透過 Amazon Bedrock Marketplace 部署，模型端點由 Amazon SageMaker JumpStart 管理，並支援 Amazon Bedrock API。
推薦理由：材料交代 Hugging Face 的 83 款開源模型如何在 Bedrock Marketplace 部署，以及 SageMaker JumpStart 管理端點、Bedrock API 負責調用的服務銜接方式。
Mistral AI 推出 Batch API，讓 La Plateforme 上的 Mistral 模型以批次方式處理高流量請求，成本比同步 API 呼叫低 50%。
推薦理由：Batch API 將高流量請求的成本降至同步 API 呼叫的一半，並以檔案提交、處理後下載的流程，適合不要求同步回覆的批量任務。
Stable Diffusion 3.5 Large（8B）及其 timestep 蒸餾版（8B）已在 Hugging Face Hub 提供，並可透過 Diffusers 進行推理與訓練。
推薦理由：文章把 Diffusers 中的量化推理與 LoRA 微調落到具體步驟，並提供在 24GB VRAM 消費級 GPU 上微調 SD3.5 Large 的參考路徑。
Hugging Face 發佈 Transformers.js v3，新增 WebGPU 支援和量化格式選擇，支援架構總數增至 120 種。官方稱 WebGPU 最高可比 WASM 快 100 倍；此版本另提供 25 個示例專案與範本，以及超過 1200 個已轉換模型。
推薦理由：這次更新把 WebGPU、量化格式選擇及 120 種架構納入同一 JavaScript 庫，並兼容 Node.js、Deno、Bun，展示其瀏覽器與伺服器端部署路徑。
Hugging Face 示範以自訂 Docker 映像，將 Speech-to-Speech（S2S）流程部署至 Hugging Face Inference Endpoints。
推薦理由：文章把多模型語音流程拆解為自訂 Docker 映像、端點設定和 WebSocket 音訊服務等步驟，提供部署複雜推理管線時可參照的實作路徑。
Hugging Face Blog 示範以 Dask 和 Coiled 把 FineWeb-Edu 網頁分類流程，從 pandas 本機處理 100 行擴展至雲端多 GPU 處理 211 million 行。
推薦理由：FineWeb-Edu 分類案例呈現了由 pandas 本機小批次測試，擴展至 Dask 與 Coiled 雲端多 GPU 處理 211 million 行資料的完整流程，為大型資料集推理提供可參照的工程做法。
Mistral AI 公佈多項更新，包括 Mistral Small v24.09、la Plateforme 免費層、模型降價及 le Chat 免費提供 Pixtral 12B 圖像理解。
推薦理由：免費層涵蓋開發者的實驗、評估與原型製作，價格表亦列出模型新舊費率及降幅，呈現試用門檻和 API 成本的變化。
Hugging Face Blog 介紹 Hugging Face Hub 上 5 項常被忽略的工具，並以 Reddit 資料展示自動更新的視覺化語義搜尋流程。
推薦理由：文章以每日更新的 Reddit 資料為例，拆解 Hugging Face Hub 五項工具如何協作，從資料抓取、嵌入向量處理與事件觸發，直到視覺化語義搜尋。
Mistral AI 宣佈在 La Plateforme 開放旗下旗艦及專用模型自訂，並推出 Agents 早期版本及 mistralai 1.0 客户端 SDK。
推薦理由：這次發布把模型自訂、Agents 工作流程與客户端 SDK 更新並列，呈現 Mistral AI 如何涵蓋應用構建中的模型調整、流程編排和程式接入環節。
Hugging Face 示範如何在 Diffusers 中使用 Quanto 量化 Transformer-based diffusion pipeline，以降低推理時的 GPU 記憶體佔用。
推薦理由：文章提供在 Diffusers 中以 Quanto 量化擴散 Transformer 與文字編碼器的操作步驟，並用記憶體和延遲數據呈現精度設定的取捨。
Hugging Face 的 TGI 推出 Multi-LoRA serving，讓單一基礎模型可按請求動態選用不同 LoRA adapter，以一個部署服務多個微調模型。文中以 mistralai/Mistral-7B-v0.1 示範，載入 30 個 adapter 時 VRAM 增幅為 3%；實際可載入數量取決於 GPU 資源和所部署模型。
推薦理由：文章以 TGI 的部署及調用示例，展示單一基礎模型按請求選用不同 LoRA adapter 的做法，並比較多模型部署的成本與擴展管理。
Hugging Face 發佈 135M、360M 和 1.7B 三種 SmolLM 模型，並公開訓練語料 SmolLM-Corpus。語料包括 28B tokens 的 Cosmopedia v2、4B tokens 的 Python-Edu，以及 220B tokens 的 FineWeb-Edu；三款模型分別以 600B、600B 和 1T tokens 訓練。
推薦理由：文章梳理 SmolLM 的資料集整理流程、訓練配置與各參數級別的基準結果，並列出三種模型規模及本地運行選項，便於比較小型模型的訓練和部署取捨。
Hugging Face Blog 示範如何用 distilabel 為 Argilla 2.0 技術文件建立 RAG 聊天機械人。流程包括從文件建立切塊與合成查詢三元組、微調領域嵌入模型、建立向量資料庫，並將 Gradio 應用部署至 Hugging Face Spaces。聊天互動會記錄在 Argilla，供持續評估與改進。
推薦理由：文章串起文件切塊、合成查詢三元組、微調領域嵌入模型、向量檢索與對話評估，提供一套可複用的文件問答 RAG 實作流程。
Hugging Face 與 KerasHub 宣佈共用模型保存格式，讓 Hugging Face Hub 上部分 Transformers 模型可直接載入 KerasHub。首批涵蓋 Gemma 1、Gemma 2、Llama 3 和 PaliGemma；KerasHub 可透過 TensorFlow、JAX 或 PyTorch 後端運行這些模型。
推薦理由：共享模型保存格式讓受支援架構的 Transformers 模型可直接載入 KerasHub，並透過 TensorFlow、JAX 或 PyTorch 後端運行，呈現跨框架使用的實際路徑。
Hugging Face 宣佈 Stable Diffusion 3 Medium（2B parameters）已在 Hugging Face Hub 上提供，並可透過 Diffusers 使用。
推薦理由：文章比較 offloading、移除 T5 與 8-bit T5 的顯存和耗時，並提供 torch.compile 加速與 LoRA 微調腳本，可作為 SD3 推理部署與微調的實作參考，並呈現節省顯存方案的耗時取捨。