跳到正文
目前篩選:一手
1月29日週四
1月23日週五
1月22日週四
  1. Mistral AI60

    Mistral AI 分享 vLLM 記憶體洩漏的排查與修復過程

    Mistral AI 團隊追查 vLLM 分離式服務的記憶體洩漏,定位到 UCX 的 mmap hook 與延後清理的記憶體池。問題只在使用 NIXL 的 Prefill/Decode 分離式設定中重現;設置 UCX_MEM_MMAP_HOOK_MODE=none 可解決洩漏,且在此 vLLM 用例中不影響效能。

    推薦理由:這篇排查記錄示範如何從 RSS 與匿名映射的異常增長開始,逐步利用 BPFtrace 和 GDB 定位 UCX mmap hook,並整理 vLLM 分離式服務可用的修復設定。

1月21日週三
1月14日週三
1月9日週五
  1. OpenAI News69

    OpenAI 與 SoftBank Group 聯同 SB Energy 合作開發多吉瓦級 AI 數據中心園區

    OpenAI 與 SoftBank Group 聯同 SB Energy 合作開發多吉瓦級 AI 數據中心園區。項目包括一座位於德州、支援 Stargate 計劃的 1.2 GW 設施。

    推薦理由:合作涵蓋多吉瓦級 AI 數據中心園區,並列出支援 Stargate 計劃的德州 1.2 GW 設施,可瞭解項目規模及合作的具體落點。

1月3日週六
  1. AiX Society · 原創觀點33

    當辦公室自動化系統觸及數據主權:企業焦慮遠比想像深

    企業評估辦公室自動化系統時,關注的不只是流程效率,更包括數據存放地點、跨境傳輸、文件刪除及 AI 是否讀取資料或用於模型訓練。伺服器與備份位置、資料存取權限及數據是否留在可控範圍內,均關乎合規風險。企業需要明確掌握數據的位置、誰可查看,以及數據會否流出可控範圍。

2025年12月11日週四
  1. Hugging Face Blog68

    llama.cpp server 新增路由模式,支援無需重啟切換多個模型

    llama.cpp server 現已提供 router mode,可在不重啟的情況下動態載入、卸載及切換多個模型。它會從 llama.cpp 快取或指定的 --models-dir 尋找 GGUF,並在收到請求時載入模型;達到 --models-max 上限時按 LRU 卸載,預設最多同時載入 4 個模型。各模型以獨立程序運行,一個模型崩潰不會影響其他模型。

    推薦理由:多進程隔離配合按需載入和 LRU 卸載,展示 llama.cpp 如何在同一服務中管理多個模型並限制同時載入數量。

2025年12月5日週五
2025年12月4日週四
  1. Hugging Face Blog72

    Hugging Face Skills 讓 Claude Code 微調開源大語言模型

    Hugging Face Skills 讓 Claude Code 等編碼智能體透過對話處理模型微調,涵蓋資料集驗證、GPU 選擇、雲端工作提交與進度監控。它亦兼容 Codex 和 Gemini CLI;文中以 Qwen3-0.6B 在 open-r1/codeforces-cots 上進行 SFT 為例,估算使用 t4-small 約需 20 分鐘、成本約 $0.30。

    推薦理由:文章將資料集驗證、GPU 選擇、雲端工作提交與進度監控串成智能體訓練流程,並比較 SFT、DPO、GRPO 的適用場景。

2025年12月1日週一
2025年11月26日週三
2025年11月25日週二
  1. Hugging Face Blog47

    OVHcloud 成為 Hugging Face Hub 支援的推理服務提供商

    OVHcloud 已成為 Hugging Face Hub 支援的推理服務提供商,用户可透過 Hub 模型頁面及 JS、Python SDK 使用其服務。OVHcloud AI Endpoints 是全託管無伺服器服務,每百萬個 tokens 收費由 €0.04 起,基建設於歐洲數據中心。服務支援結構化輸出、函數呼叫及文字和圖像處理,首個 token 回應時間低於 200ms。

2025年11月22日週六
2025年11月20日週四
2025年11月19日週三
2025年11月13日週四
  1. Hugging Face Blog58

    Hugging Face 宣佈與 Google Cloud 深化合作,協助企業建置開放模型 AI

    Hugging Face 與 Google Cloud 宣佈深化策略合作,協助企業以開放模型建置及客製化 AI。Google Cloud 客户對 Hugging Face 的使用量在過去 3 年增長 10x,目前每月涉及數十 PB 模型下載及數十億次請求;雙方正建置 CDN Gateway,將模型和資料集快取至 Google Cloud,以縮短下載時間並加強模型供應鏈穩健性。

2025年11月5日週三
2025年11月3日週一
  1. OpenAI News76

    OpenAI 與 AWS 宣佈為期多年的 $38 billion 戰略合作

    OpenAI 與 AWS 宣佈達成一項為期多年的 $38 billion 戰略合作,以擴展先進 AI 工作負載。AWS 將提供一流基礎設施及運算容量,支援 OpenAI 下一代模型。

    推薦理由:這項多年期合作把 AWS 的基礎設施與運算容量,對應到 OpenAI 擴展先進 AI 工作負載及支援下一代模型的需求,呈現雙方合作的資源配置方向。

2025年10月30日週四
  1. Google Research62

    Google Research 公佈 PPI 系統,以差分私隱分析生成式 AI 使用情況

    Google Research 公佈可證明私隱洞察(PPI)系統,結合 LLM、TEE 與差分私隱分析生成式 AI 工具的真實使用情況,只釋出匿名化聚合結果。

    推薦理由:文章將 LLM 結構化摘要、TEE 內的資料隔離與 user-level 差分私隱聚合串成可外部檢查的流程,並以 Pixel Recorder 説明實際部署方式。

2025年10月24日週五
  1. Hugging Face Blog75

    LeRobot v0.4.0 升級開源機械人學習工具鏈

    LeRobot 發佈 v0.4.0,加入 Datasets v3.0、VLA 模型 PI0 和 PI0.5、GR00T N1.5,以及硬件插件系統。Datasets v3.0 採用分塊 episode 格式並支援串流,可處理 OXE 級(> 400GB)資料集。

    推薦理由:資料集規模化、模擬評測、多 GPU 訓練和硬件插件同時更新,勾勒出 LeRobot 從資料處理到機械人控制的工具鏈演進。

2025年10月21日週二
  1. Hugging Face Blog67

    用開放模型提升 OCR 流程

    Hugging Face 更新開放 OCR 模型指南,加入 Chandra、OlmOCR-2 及模型在 OlmOCR Benchmark 的比較分數。指南對照多款模型的輸出格式、語言支援、功能與成本,並介紹 OmniDocBenchmark、OlmOCR-Bench 和 CC-OCR 等評測基準。

    推薦理由:文章對照模型能力、輸出格式、評測基準與部署成本,並建議以代表性樣本檢驗不同文件和語言下的表現。

2025年10月15日週三
2025年10月13日週一
  1. OpenAI News78

    OpenAI 與 Broadcom 宣佈合作部署 10 gigawatts OpenAI 設計的 AI 加速器

    OpenAI 與 Broadcom 宣佈多年合作,計劃在 2029 年前部署 10 gigawatts 的 OpenAI 設計 AI 加速器。雙方亦將共同開發下一代系統及以太網方案,以支援可擴展且具能源效益的 AI 基礎設施。

    推薦理由:這項多年合作把加速器部署、下一代系統共同開發與以太網方案連在一起,呈現其 AI 基礎設施建設所涵蓋的環節。

2025年10月7日週二
  1. AiX Society · 原創觀點28

    AI 人機混合管理系統:打造面向未來的團隊

    AI 人機混合管理系統的核心,是促進人與 AI 協作,而非單純以 AI 減少人手;AI 會放大現有管理系統的優缺點。招聘應重視流程設計、分析錯誤並優化工作流程,以及把專業知識整理成 SOP 的能力;績效評估亦應考慮系統建構能力。設計 AI 工作流程要識別痛點、設定觸發條件、建立監察點並持續優化,原則是「AI 起草,人類定稿」。

2025年10月6日週一
  1. OpenAI News79

    AMD 與 OpenAI 宣佈多年戰略合作,計劃部署 6 gigawatts AMD Instinct GPUs

    AMD 與 OpenAI 宣佈多年合作,計劃部署 6 gigawatts AMD Instinct GPUs,以支援 OpenAI 下一代 AI 基礎設施並加快全球 AI 創新。部署將於 2026 年從 1 gigawatt 開始。

    推薦理由:合作涵蓋 6 gigawatts AMD Instinct GPUs,並安排 2026 年先部署 1 gigawatt,呈現 OpenAI 下一代 AI 基礎設施的建置規模與時間節點。

2025年10月5日週日
  1. AiX Society · 原創觀點18

    香港與深圳 AI 辦公室:跨境數碼基建及工作流程自動化指南(使用 Dingtalk)

    在深圳設立 AI 辦公室,企業須應對香港與內地之間的網絡限制、雙重通訊生態及數據私隱規定差異。文章提出以 AI 自動化處理跨平台翻譯、文件管理、工作流程協調及合規監察。建議及早規劃雙重數碼基建、採用本地平台,並以 AI 建立系統化連接。

  2. AiX Society · 原創觀點22

    香港與深圳 AI 辦公室跨境數碼基建及工作流程自動化指南:以 Dingtalk 為例

    在深圳設立跨境 AI 辦公室,須應對網絡限制、港深法規差異,以及 WeChat、DingTalk 與國際通訊平台並行的數碼基建挑戰。文章列出 AI 翻譯、文件管理、工作流程協調及合規監察等自動化應用,並建議及早規劃雙重基建、接入本地平台及以 AI 建立系統化連接。

2025年10月2日週四
2025年10月1日週三
  1. OpenAI News61

    Samsung 與 SK 加入 OpenAI 的 Stargate 計劃,擴大全球 AI 基礎設施

    Samsung 與 SK 加入 OpenAI 的 Stargate 計劃,以擴大全球 AI 基礎設施。合作將擴充先進記憶體晶片產能,並在韓國建設新一代數據中心。

    推薦理由:合作內容同時涵蓋先進記憶體晶片產能擴大與韓國新一代數據中心建設,呈現 Stargate 推進全球 AI 基礎設施的兩條實體建設路徑。

2025年9月29日週一
2025年9月27日週六
  1. AiX Society · 原創觀點46

    AI 如何推動 KFC、Pizza Hut 與 Yum! Brands 邁向未來:Byte by Yum 案例研究

    Yum! Brands 透過 Byte by Yum 整合旗下品牌的營運工具,推動全球餐廳的數碼化及 AI 應用。平台於 2025 年推出,現已在全球超過 25,000 間餐廳上線,並處理超過 300 million 張數碼訂單。Taco Bell 會員活躍度按年上升 30%,部分得來速地點使用的語音點餐系統則據初步數據可縮短約 10-20% 等候時間。

2025年9月23日週二
  1. OpenAI News71

    OpenAI、Oracle 與 SoftBank 擴展 Stargate,新增五個 AI 數據中心站點

    OpenAI、Oracle 與 SoftBank 宣佈 Stargate 新增五個 AI 數據中心站點,並加快美國 $500B、10-gigawatt 的基礎設施建設。該建設旨在支援下一代 AI,並創造數以萬計個職位。

    推薦理由:公告將新增五個站點放在 $500B、10-gigawatt 的美國基建計劃中,並交代其支援下一代 AI 和創造數以萬計職位的目標。

2025年9月17日週三