跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

400條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 41–60 條 · 共 400 條
11月18日週三
  1. Wiz:Research(安全研究)86

    Wiz Research 等團隊揭露 NGINX 的 CVE-2026-123633 與 CVE-2026-123007 漏洞

    Wiz Research 等團隊揭露 NGINX 兩項漏洞,HTTP/2 啟用時可導致未經驗證的遠端程式碼執行。漏洞編號為 CVE-2026-123633 和 CVE-2026-123007,均評為 Critical,CVSS 4.0 評分為 9.2;其中 CVE-2026-123007 在提供普通靜態檔案時也可觸發,無需後端應用程式或第三方模組。

    推薦理由:文章拆解兩個 HTTP/2 記憶體安全漏洞導致遠端程式碼執行的路徑,並交代觸發條件及其對 NGINX 所服務網站與 API 的風險。

  2. NVIDIA Blog65

    NVIDIA RTX Spark 緊湊型桌上電腦現已發售

    ASUS、Dell 和 MSI 的 NVIDIA RTX Spark 緊湊型桌上電腦現已開售,支援本機 AI 智能體、圖像及影片生成,以及模型微調。系統配備 20 核心 NVIDIA Grace CPU、具 6,144 個 CUDA 核心的 NVIDIA Blackwell RTX GPU,統一記憶體最高 128GB,AI 效能最高達 1 petaflop。

    推薦理由:文章交代 RTX Spark 桌上型電腦的本機 AI 用途、硬件規格與創作軟件支援,呈現其面向開發者和創作者的工作流程範圍。

  3. InfoWorld76

    攻擊者劫持 Microsoft Agent Framework 的 PyPI 套件,竊取 Azure 與 CI 憑證

    攻擊者劫持 Microsoft 官方 Agent Framework 的 PyPI 套件,植入竊取雲端 token 與 CI/CD 憑證的惡意程式。惡意版本 1.26.1 和 1.26.2 於 11 月 17 日在 PyPI 出現,存續不足一小時;程式會在 Python 啟動時自動執行,即使沒有匯入套件,而正版框架程式碼仍讓應用程式繼續運作。

    推薦理由:兩個惡意版本雖在 PyPI 存續不足一小時,CI 快取、容器映像和 lockfile 仍可能留有受感染版本,説明排查範圍不止已下架套件。

  4. The Elec84

    Nvidia 2027 財年第三季營收超出市場預期

    Nvidia 公佈 2027 財年第三季營收 $115.8 billion、GAAP 營業利潤 $77.52 billion,業績整體高於市場預期及公司上一季預測。

    推薦理由:營收較市場預期高出 $6.8 billion,數據中心業務按年增長 110% 並帶動整體增長,第四季指引提供了後續比較基準。

  5. DEV Community78

    OpenJDK Base64 解碼器漏洞可由 64 個 A 和等號觸發堆越界寫入

    Calif 公佈 OpenJDK Base64 解碼器漏洞 Java4Shell(CVE-2026-114938),在支援 AVX-512 VBMI 的 x86-64 處理器上,輸入 64 個 A 後接 = 可觸發堆記憶體越界寫入;舊版 OpenJDK 17 的觸發字串則需要 128 個 A。

    推薦理由:文章連結了漏洞觸發條件、AVX-512 VBMI 硬件限制,以及伺服器和用戶端的攻擊案例,提供界定排查範圍所需的資訊。

  6. 創業邦85

    英偉達董事會拒絕黃仁勳復職,AI 雲端初創公司關注融資走向

    英偉達董事會一致接受黃仁勳辭職,明確表示無意恢復其 CEO 職務,令仍在等待融資的 AI 雲端初創公司關注後續資金支持。臨時 CEO 科萊特·克雷斯表示,英偉達將審慎評估新增投資、融資承諾及擔保,並審查客戶實力和數據中心計劃。截至10月25日,英偉達提供的擔保總額已達1180億美元,其中1050億美元與 OpenAI 在俄亥俄州的數據中心項目有關。

    推薦理由:文章梳理英偉達投資與融資支持轉趨審慎的變化,呈現 AI 雲端初創公司的資金前景如何連繫客戶付費能力。

  7. Anthropic:Claude.dev 開發者博客77

    Claude Docs 如何以「chaos loop」強化上線準備,2 billion 次請求僅出現 60 次伺服器錯誤

    Anthropic 團隊在 Claude Docs 上線前,讓 Claude Code 在 staging 環境持續進行大規模壓測,並依遙測資料反覆修正服務。Claude Docs 於 9 月 16 日上線;截至 9 月 22 日,用戶已建立超過 4.6 million 份文件,服務處理 2 billion 次請求僅出現 60 次伺服器錯誤,且未曾回滾。

    推薦理由:文章呈現以持續壓測、遙測診斷和明確技術不變條件組成的智能體迴圈,並説明 Claude 如何在 staging 反覆定位及修正服務問題。

  8. AWS Machine Learning Blog61

    Amazon Bedrock AgentCore 如何降低大型 JSON 工作負載的 token 成本與延遲

    Amazon Bedrock AgentCore 的三項優化策略,令處理 20 MB+ JSON 資料的生產智能體在代表性 23 MB payload 基準測試中,token 用量最多下降 71%,平均延遲最多降低 80%。

    推薦理由:文章把狀態外置、列表分頁與字典摘要整合成可組合方案,並以 23 MB 資料測試呈現 token 用量及延遲的變化。

  9. TechPowerUp90

    NVIDIA 公佈 2026 年第三季業績,收入達 $115.8 billion

    NVIDIA 公佈截至 2026 年 10 月 25 日的第三季收入為 $115.8 billion,按季增長 20%、按年增長 103%。資料中心收入為 $107.6 billion,按季增長 21%、按年增長 110%。公司預計 2027 財政年度第四季收入為 $130.0 billion,正負 3%,並未將中國資料中心運算收入納入預測。

    推薦理由:NVIDIA 第三季收入按年增長 103%,資料中心收入為 $107.6 billion;下一季 $130.0 billion 的收入指引,呈現公司對短期增長的預期。

  10. AWS Machine Learning Blog69

    Amazon SageMaker AI 即時端點新增 KV-aware routing

    Amazon SageMaker AI 即時端點新增 KV-aware routing,根據模型容器回報的 KV cache 狀態,把請求路由至持有最長匹配快取且負載未過高的實例。

    推薦理由:文章比較 KV-aware routing 與 prefix-aware routing 的路由依據,並以長對話工作負載的測試呈現延遲、吞吐量及快取命中率變化。

  11. AWS Machine Learning Blog64

    降低生成式 AI 成本:規則交給程式碼,判斷交給模型

    AWS Machine Learning Blog提出工作流程的模型呼叫分流方法:規則交由確定性程式碼,固定選項使用受限決策呼叫,開放式任務則使用符合要求的 Amazon Bedrock 模型。

    推薦理由:文章整理出規則、固定選項與開放式生成的分流方法,並以 AWS 元件示範如何減少不必要的模型呼叫。

  12. Unite.AI87

    NVIDIA 2027 財年第三季收入按年增長 103%,Vera Rubin NVL72 開始出貨

    NVIDIA 2027 財年第三季收入按年增長 103% 至 $115.8 billion,Vera Rubin NVL72 系統開始出貨。數據中心收入達 $107.6 billion,季度末列出的未來承諾總額為 $518 billion,涵蓋供應及產能、雲端服務等項目。公司預計第四季收入為 $130.0 billion(上下 3%),並假設來自中國的數據中心運算收入為零。

    推薦理由:財報把 Vera Rubin 出貨、數據中心收入增長及未來供應與基建承諾放在同一季度脈絡,呈現 AI 基建擴張的規模。

  13. AWS Machine Learning Blog60

    Amazon Bedrock AgentCore 透過 MCP 連接 Snowflake Cortex AI 的三種安全 OAuth 模式

    文章介紹如何透過 Amazon Bedrock AgentCore Gateway,以 MCP 將 AI Agent 連接至 Snowflake Cortex AI,並比較三種 OAuth 配置。

    推薦理由:文章將三種 OAuth 配置按身份驗證方式、Snowflake 用戶映射和審計粒度逐一比較,説明企業 SSO、個人追蹤與無人值守工作負載各自適用的取捨。

  14. AWS Machine Learning Blog63

    如何以 Amazon Bedrock AgentCore 和 SMART 建構 WhatsApp AI 智能體

    SMART(Social Messaging Agent Runtime Toolkit)是一套開源 Python SDK 及 Terraform 堆疊,可配合 Amazon Bedrock AgentCore 建構 WhatsApp AI 智能體並處理通道整合。

    推薦理由:文章梳理 WhatsApp 智能體的通道工程負擔,並呈現 SMART 如何整合訊息驗證、媒體處理、記憶及排程,讓讀者瞭解端到端接入流程。

  15. AWS Machine Learning Blog62

    ArisGlobal 如何在 Amazon Bedrock 上透過提示詞快取擴展生成式 AI 推理

    ArisGlobal 調整 Amazon Bedrock 請求順序,改為快取跨請求重用的共用提示詞前綴,以降低 NavaX 的推理成本。生產請求中,約 65% 的輸入 token 以較低費率從快取讀取,令有效輸入成本約下降 50%;在每月超過 19 billion tokens 的用量下,整體月度推理支出約下降 40%。此設計亦支援約 15% 更多企業租戶進駐,而 EU 跨區域推理路由維持不變。

    推薦理由:案例展示多租戶工作負載如何按跨請求重用程度安排快取前綴,而非優先快取單次個案的大型文件,並提供部署與監測要點。

11月17日週二
  1. 新浪科技79

    美國 BIS 新規收緊五國晶片流向,並管制全球遠程算力服務

    美國商務部工業與安全局(BIS)於11月16日發布臨時最終規則,將出口管制從晶片實物延伸至全球遠程算力服務,並對馬來西亞、新加坡、泰國、印度尼西亞和巴西的相關晶片或伺服器流向增加許可要求。

    推薦理由:規則把管制範圍由晶片實物延伸至全球數據中心的聚合算力,並涵蓋模型推理,具體呈現海外算力租用面臨的合規門檻。

  2. 虎嗅78

    中國不能把 AI 產業建成英偉達的海外客戶

    文章主張,中國 AI 產業不應把海外租用英偉達算力作為發展基礎,並應建立不依賴美國許可的算力體系。美國新規把第三國數據中心向中國等受管制地區提供遠程算力納入限制,符合條件且累計 TPP 超過 1200 萬的關聯集羣提供算力可能須申請許可證;新規亦要求重新審查既有相關算力服務,並設 90 日過渡安排。文章提出發展國產芯片及集羣軟件體系、以算法優化降低算力需求,並按任務把微調和推理盡可能轉向國產芯片。

    推薦理由:文章將降低海外算力依賴拆解為供給體系、算法效率與任務配置三個層面,呈現算力自主涉及芯片以外的集羣、軟件與模型能力。

  3. AWS Machine Learning Blog62

    製造業多智能體系統的設計模式、反模式與架構選擇

    AWS Machine Learning Blog 梳理多智能體協調模式與常見反模式,並提供按任務及製造業限制選擇架構的指引。文章將模式分為由開發者預設流程的 Tier 1,以及由模型在執行時決定流程的 Tier 2,建議由 Tier 1 起步,僅在子任務需於執行過程中浮現時採用 Tier 2。

    推薦理由:文章區分預先定義流程與模型自主決策兩類編排,並以製造業的延遲、安全與邊緣數據限制,説明各自適用情境和較簡單的架構選擇。