跳到正文

#部署/工程

今日 5 條
4月27日週一
  1. Mistral AI66

    Mistral AI 開放 Workflows 公開預覽,提供企業 AI 編排層

    Mistral AI 開放企業 AI 編排層 Workflows 公開預覽,讓開發者以 Python 編寫流程,並可發佈至 Le Chat 供組織成員觸發。Workflows 提供持久執行、Studio 逐步追蹤及人工審批暫停與恢復,並支援將 workers 和資料處理部署在企業自有環境。

    推薦理由:Workflows 將持久執行、Studio 追蹤與人工審批整合,並支援 workers 在企業自有環境運行,呈現企業 AI 流程走向生產的部署設計。

4月15日週三
4月10日週五
4月9日週四
  1. Hugging Face Blog61

    Waypoint-1.5 提升互動世界保真度並擴展本地硬件支援

    Overworld 推出 Waypoint-1.5 即時影片世界模型,提升視覺保真度並擴大可本地運行的硬件範圍。桌面硬件 RTX 3090 至 5090 可生成最高 720p、60 FPS 的即時環境;另有面向更廣泛消費級硬件(包括遊戲筆電)的 360p 版本,Apple Silicon Mac 支援即將推出。

    推薦理由:Waypoint-1.5 分設 720p 與 360p 檔位,並列明 RTX 3090 至 5090 可達最高 720p、60 FPS,呈現其畫質與本地硬件覆蓋方案。

4月1日週三
  1. Hugging Face Blog68

    Gradio 介紹 gradio.Server,讓自訂前端使用 Gradio 後端

    Gradio 介紹 gradio.Server,讓自訂前端可使用 Gradio 的後端能力,同時採用自選的前端框架。gradio.Server 擴展 FastAPI,提供自訂路由等功能,並加入 Gradio 的佇列、SSE 串流、並發控制和 gradio_client 相容性。

    推薦理由:文章以圖像去背示例展示如何讓自訂 HTML/CSS/JS 前端透過 gradio.Server 使用 Gradio 佇列、並發控制與 ZeroGPU,提供兼顧介面自由度和後端管理的實作參考。

3月31日週二
3月9日週一
  1. Hugging Face Blog68

    LeRobot 發佈 v0.5.0,擴展機械人硬件、策略模型及資料與模擬功能

    LeRobot 團隊發佈 v0.5.0,擴展機械人硬件、策略模型、資料集處理及模擬環境支援。版本加入 Unitree G1 人形機械人完整支援(包括全身控制)、Pi0-FAST 自回歸 VLA 及 Real-Time Chunking,並新增 EnvHub 以從 Hugging Face Hub 載入模擬環境,亦整合 NVIDIA IsaacLab-Arena。

    推薦理由:版本把人形機械人控制、即時推理、模擬環境和資料提速納入同次更新,呈現 LeRobot 從硬件接入至訓練工具鏈的擴展範圍。

3月6日週五
3月5日週四
  1. Hugging Face Blog53

    NXP 機械人 AI 嵌入式部署實踐指南:數據集錄製、VLA 微調與裝置端優化

    NXP 分享將機械人 AI 部署到嵌入式平台的實踐指南,涵蓋數據集錄製、ACT 與 SmolVLA 微調,以及 i.MX 95 上的 VLA 推理優化。實驗以把茶包放入杯中為任務,使用 3 部攝影機;文章建議保留獨立驗證集,並以非同步方式計算下一動作區塊,但推理時間須短於當前動作執行時間。

2月27日週五
2月20日週五
  1. Hugging Face Blog76

    GGML 團隊加入 Hugging Face,支持 llama.cpp 及 Local AI 長期發展

    GGML 團隊加入 Hugging Face,並將持續維護 llama.cpp;Hugging Face 會為項目提供長期資源支持。團隊仍將 100% 時間用於維護,並對技術方向及社羣保有完全自主權與領導權;項目會繼續 100% 開源並由社羣推動。雙方計劃讓 transformers library 的模型定義更順暢地用於 llama.cpp,並改善 ggml 軟件封裝及本地模型部署體驗。

    推薦理由:文章交代 GGML 團隊加入後 llama.cpp 的維護自主權與資源支持,也列出連接 transformers library 模型定義及改善本地部署體驗的方向。

2月13日週五
2月9日週一
2月4日週三
1月29日週四
  1. Hugging Face Blog58

    Gradio 團隊推出 Daggr,讓 AI 工作流程可程式化串接並視覺化檢查

    Gradio 團隊推出開源 Python 函式庫 Daggr,可用程式串接 Gradio 應用、ML 模型及自訂函數,建立 AI 工作流程。Daggr 會自動生成視覺畫布,供使用者檢視中間輸出、修改輸入並單獨重跑步驟,同時保存工作流程狀態。該工具目前處於 beta,更新期間仍可能發生本機保存資料遺失。

1月23日週五
1月22日週四
  1. Mistral AI60

    Mistral AI 分享 vLLM 記憶體洩漏的排查與修復過程

    Mistral AI 團隊追查 vLLM 分離式服務的記憶體洩漏,定位到 UCX 的 mmap hook 與延後清理的記憶體池。問題只在使用 NIXL 的 Prefill/Decode 分離式設定中重現;設置 UCX_MEM_MMAP_HOOK_MODE=none 可解決洩漏,且在此 vLLM 用例中不影響效能。

    推薦理由:這篇排查記錄示範如何從 RSS 與匿名映射的異常增長開始,逐步利用 BPFtrace 和 GDB 定位 UCX mmap hook,並整理 vLLM 分離式服務可用的修復設定。

1月21日週三
1月14日週三
1月9日週五
12月11日週四
  1. Hugging Face Blog68

    llama.cpp server 新增路由模式,支援無需重啟切換多個模型

    llama.cpp server 現已提供 router mode,可在不重啟的情況下動態載入、卸載及切換多個模型。它會從 llama.cpp 快取或指定的 --models-dir 尋找 GGUF,並在收到請求時載入模型;達到 --models-max 上限時按 LRU 卸載,預設最多同時載入 4 個模型。各模型以獨立程序運行,一個模型崩潰不會影響其他模型。

    推薦理由:多進程隔離配合按需載入和 LRU 卸載,展示 llama.cpp 如何在同一服務中管理多個模型並限制同時載入數量。

12月5日週五
12月4日週四
  1. Hugging Face Blog72

    Hugging Face Skills 讓 Claude Code 微調開源大語言模型

    Hugging Face Skills 讓 Claude Code 等編碼智能體透過對話處理模型微調,涵蓋資料集驗證、GPU 選擇、雲端工作提交與進度監控。它亦兼容 Codex 和 Gemini CLI;文中以 Qwen3-0.6B 在 open-r1/codeforces-cots 上進行 SFT 為例,估算使用 t4-small 約需 20 分鐘、成本約 $0.30。

    推薦理由:文章將資料集驗證、GPU 選擇、雲端工作提交與進度監控串成智能體訓練流程,並比較 SFT、DPO、GRPO 的適用場景。

12月1日週一
11月26日週三
11月25日週二
  1. Hugging Face Blog47

    OVHcloud 成為 Hugging Face Hub 支援的推理服務提供商

    OVHcloud 已成為 Hugging Face Hub 支援的推理服務提供商,用户可透過 Hub 模型頁面及 JS、Python SDK 使用其服務。OVHcloud AI Endpoints 是全託管無伺服器服務,每百萬個 tokens 收費由 €0.04 起,基建設於歐洲數據中心。服務支援結構化輸出、函數呼叫及文字和圖像處理,首個 token 回應時間低於 200ms。

11月22日週六
11月20日週四
11月19日週三
11月13日週四
  1. Hugging Face Blog58

    Hugging Face 宣佈與 Google Cloud 深化合作,協助企業建置開放模型 AI

    Hugging Face 與 Google Cloud 宣佈深化策略合作,協助企業以開放模型建置及客製化 AI。Google Cloud 客户對 Hugging Face 的使用量在過去 3 年增長 10x,目前每月涉及數十 PB 模型下載及數十億次請求;雙方正建置 CDN Gateway,將模型和資料集快取至 Google Cloud,以縮短下載時間並加強模型供應鏈穩健性。

11月5日週三
11月3日週一
  1. OpenAI News76

    OpenAI 與 AWS 宣佈為期多年的 $38 billion 戰略合作

    OpenAI 與 AWS 宣佈達成一項為期多年的 $38 billion 戰略合作,以擴展先進 AI 工作負載。AWS 將提供一流基礎設施及運算容量,支援 OpenAI 下一代模型。

    推薦理由:這項多年期合作把 AWS 的基礎設施與運算容量,對應到 OpenAI 擴展先進 AI 工作負載及支援下一代模型的需求,呈現雙方合作的資源配置方向。

10月30日週四
  1. Google Research62

    Google Research 公佈 PPI 系統,以差分私隱分析生成式 AI 使用情況

    Google Research 公佈可證明私隱洞察(PPI)系統,結合 LLM、TEE 與差分私隱分析生成式 AI 工具的真實使用情況,只釋出匿名化聚合結果。

    推薦理由:文章將 LLM 結構化摘要、TEE 內的資料隔離與 user-level 差分私隱聚合串成可外部檢查的流程,並以 Pixel Recorder 説明實際部署方式。

10月24日週五
  1. Hugging Face Blog75

    LeRobot v0.4.0 升級開源機械人學習工具鏈

    LeRobot 發佈 v0.4.0,加入 Datasets v3.0、VLA 模型 PI0 和 PI0.5、GR00T N1.5,以及硬件插件系統。Datasets v3.0 採用分塊 episode 格式並支援串流,可處理 OXE 級(> 400GB)資料集。

    推薦理由:資料集規模化、模擬評測、多 GPU 訓練和硬件插件同時更新,勾勒出 LeRobot 從資料處理到機械人控制的工具鏈演進。