跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

400條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 1–20 條 · 共 400 條
今天11月22日週日
  1. DEV Community85

    黃仁勳辭任後,Nvidia 業績與 GPU/CUDA 集中風險分析

    黃仁勳辭任 Nvidia 董事長、CEO 及董事會成員後,CFO Colette Kress 接任臨時 CEO,董事會正尋找繼任人。Nvidia 截至 10 月的季度收入為 US$ 115.8 billion,按年增長 103%,其中數據中心收入為 US$ 107.6 billion;下一季度收入指引為 US$ 130 billion,不計任何面向中國的數據中心運算銷售。

    推薦理由:文章將管理層接任、季度業績與 CUDA 生態依賴連在一起,並以程式碼對特定 API 的依賴程度,提出檢視供應商集中風險的切入點。

  2. Together AI 研究與產品博客76

    Qwen4 Max 在 Together AI 上線

    Together AI 已在 Together Serverless Inference 上線 Qwen4 Max,並提供 1M-token 上下文窗口。示範中,模型在一次請求內處理 Tornado 全部 344 個檔案、共 652,519 tokens,72 秒後返回修補程式;修補通過兩項回歸測試,完整測試套件的 1,673 項測試亦全數通過。

    推薦理由:測試把 Tornado 全部程式碼與錯誤報告一次交給模型,再以回歸測試核對修補,並列出 69 美仙成本,呈現整個程式庫一次輸入時的驗證方式與費用。

  3. Hacker News 熱門(buzzing.cc 中文翻譯)77

    LookAtMyQuant 將 Inkling-2-Mini 壓縮至 5.38 GB 和 8.87 GB

    LookAtMyQuant 使用量化編譯器將 Inkling-2-Mini 壓縮為 5.38 GB 和 8.87 GB 兩個版本,並比較其基準測試表現。5.38 GB 版本在 GSM8K 得 134/200、HumanEval 得 60/164,高於 9.14 GB 的 Unsloth UD-Q2_K_XL(132/200、49/164)。

    推薦理由:文中比較 5.38 GB 版本與 9.14 GB 的 UD-Q2_K_XL,並列出 GSM8K 和 HumanEval 成績,呈現較小模型檔案在兩項基準上的表現。

11月21日週六
  1. DEV Community83

    Anthropic IPO及私募配售合計約$119.5 billion,對AI基建有何意義

    Anthropic於11月20日宣佈IPO完成,公開發售及同步私募配售合計總額約$119.5 billion。公開發售總額約$93.5 billion,其中約$91.6 billion來自Anthropic售股,其餘來自既有股東;另有$26 billion私募配售予7家策略夥伴,公司兩項交易估計淨所得約$117 billion(按行使全部額外股份購買權計)。

    推薦理由:文章拆分公開發售、既有股東售股與策略夥伴私募的資金構成,並對照多年運算基建承諾,釐清交易總額與公司實際所得的差別。

  2. DEV Community79

    Cairn 智能體自主發現 MONAI Label 零日漏洞並取得 root shell

    AWS 報告,一名被中等信心評估為與中國有關聯的攻擊者指示 Cairn 獲取 shell;Cairn 約 11 分鐘內在 MONAI Label 發現路徑遍歷漏洞,並透過任意檔案寫入及 Python 執行取得 root 權限 shell。

    推薦理由:文章拆解了從 API 路徑遍歷、寫入 sitecustomize.py 到 Python 執行的攻擊鏈,並整理出 SOC 可用的排查線索。

  3. IT之家78

    阿波羅與高盛完成約 440 億美元 GPU 融資定價,供 SpaceX 購買英偉達晶片

    阿波羅全球管理公司與高盛完成約 440 億美元優先及次級票據融資定價,資金將用於 SpaceX 購買 GPU 及相關設備。交易因投資者需求強勁而獲超額認購並擴大規模,成為迄今規模最大的 GPU 融資交易。資金將用於採購下一代英偉達 Vera Rubin 晶片,相關 GPU 及設備預計於 2027 年上半年交付,屆時租賃安排將開始生效。

    推薦理由:交易連結票據融資、SpaceX 的 GPU 採購與後續租賃安排,呈現大型算力建設的資金安排方式。

  4. AWS Machine Learning Blog64

    Amazon SageMaker HyperPod 推出 Global Inference Gateway,支援跨區域及跨叢集的單一端點

    Amazon SageMaker HyperPod 推出 Global Inference Gateway,透過單一 SageMaker 管理端點,在已註冊的叢集之間(包括跨 AWS 區域)路由請求。

    推薦理由:Global Inference Gateway 將 HyperPod 跨叢集及跨區域推理路由整合至單一端點,並以容量、佇列、區域距離和錯誤率分流,呈現減少手動路由與故障切換工作的實作方式。

  5. AWS Machine Learning Blog61

    Standard Bank Group 如何自動化生成式 AI 風險評估

    Standard Bank Group 與 AWS Professional Services 合作,在 AWS 上部署生成式 AI 風險評估流程,依據國際 AI 標準及銀行內部政策檢查每個應用案例並提供審批證據。

    推薦理由:文章拆解了如何把既有銀行政策轉成可重複執行的檢查,並將每項風險結果追溯至證據與政策條文。

  6. Runway:News(網頁)78

    Runway 分享如何逐步建成以智能體運作的軟件工廠

    Runway 逐步讓智能體承擔編碼、CI、審查、批准、QA、故障修復及流程協調,打造一條以智能體為主的軟件交付流程。10 月合併的拉取請求中,38% 由雲端智能體推動。核心 API 儲存庫首次批准的等候中位數,由 9 月逾兩小時降至 11 月中約 5 分鐘。

    推薦理由:文章逐站交代智能體如何接手編碼、審查、批准、QA、故障修復與協調,並説明以風險分級及量化指標控制交接。

11月20日週五
  1. 虎嗅78

    中國 AI 算力大遷徙:海外訓練受限,國產算力承接模型訓練

    美國11月19日生效的新規規定,任何數據中心如向中國總部企業提供超過1200萬TPP算力,向該中心運送先進晶片前須取得許可,令中國大模型的海外訓練路徑受阻。文章梳理了中國企業此前借用東南亞及北歐機房訓練模型,以及相關租約和融資在規則收緊後受阻的情況。DeepSeek等團隊則持續適配昇騰等國產晶片,並依託國內算力樞紐推進訓練與推理。

    推薦理由:文章將海外租用受限、國內推理需求擠壓訓練資源,以及國產晶片適配放在同一條遷移脈絡中,交代算力轉向的多重成因。

  2. DEV Community84

    NGINX 的 nginx -v 輸出無法判斷 NGINX2Root 是否已修補

    這篇實測指南指出,單看 nginx -v 無法判斷 NGINX 是否已修補 NGINX2Root 的兩項漏洞,因為 Linux 發行版可回補修正而不更改上游版本號。

    推薦理由:文章以 Debian 13 的兩個同版號套件展示發行版回補如何令版本字串失去判斷力,並整理套件、設定與外部探測三層檢查方法。

  3. DEV Community76

    Rails Ruby2Shell RCE 漏洞:如何檢查 API 是否受影響

    Ruby2Shell(CVE-2026-132825)會影響使用特定 Ruby 版本的 Rails API,修復方式是升級 Ruby,而非更新 gem。受影響範圍包括 Ruby 2.4.0 至 3.3.13、3.4.0 至 3.4.12,以及 4.0.0 至 4.0.9;修補版本分別為 3.3.14、3.4.13 和 4.0.10。

    推薦理由:文章整理 Ruby2Shell 的受影響與修補版本,並説明應在實際服務 API 的環境核對 Ruby 版本,單靠更新 Rails gem 無法修復漏洞。

  4. 新浪科技77

    阿里雲單季收入突破600億元,吳泳銘稱算力緊缺是長期現實、數據中心建設目標可能下調

    阿里巴巴公佈2027財年第二季度業績,阿里雲收入609.73億元,按年增長53%,AI相關產品收入達179.18億元。外部客戶收入按年增長64%;經調整EBITA按年增長121%至88.38億元,利潤率為14.5%。吳泳銘稱2027至2028年國內算力供給仍有缺口,全球各地算力政策變化將影響阿里雲數據中心建設,原定2032年全球數據中心規模超過20GW的目標可能下調,資本開支亦可能降低。

    推薦理由:阿里雲收入和 AI 產品收入增長之際,吳泳銘亦談到算力缺口與數據中心目標可能下調,補足業務擴張背後的算力供給與基建規劃背景。

  5. AWS Machine Learning Blog63

    Amazon SageMaker Inference 回顧 2026 年 14 項更新(第二部分)

    Amazon SageMaker Inference 第二部分回顧 14 項 2026 年更新,涵蓋託管端點與 HyperPod Inference 的模型配置、GPU 利用率、多節點服務、路由及部署後監察。

    推薦理由:文章按部署後的配置、GPU 利用率、多節點服務及跨區路由等問題梳理 14 項更新,並以假設的支援團隊案例説明各項功能所對應的運作情境。

  6. AWS Machine Learning Blog62

    BMW Group 如何治理服務數千名開發者的數百個智能體

    BMW Group 分享如何治理服務數千名開發者的數百個智能體,並將治理要求納入建置、部署及運行流程。其研發團隊有逾 12,500 名開發者,治理規則以 IaC 編碼,並透過 CI/CD 執行安全、驗證及評估檢查。架構以 MCP 工具、技能和流程構成三層組合,中央登記庫負責資產發現、審批、安全檢查及重複能力識別。

    推薦理由:文章把治理落實到架構、CI/CD 與運行階段,具體展示如何透過分層組合及自動化檢查,兼顧團隊自主和企業管控。

  7. AWS Machine Learning Blog66

    Amazon SageMaker AI 推出跨區域推理路由功能

    Amazon SageMaker AI 推出跨區域推理路由,讓應用程式透過單一入口呼叫多個 AWS 區域及帳戶內的既有端點和推理元件。路由器優先使用本區域目的地,在目的地無法可靠服務時將新請求轉往其他目的地,並在恢復後逐步切回。

    推薦理由:文章拆解路由器如何按目的地健康狀態跨區分流並逐步回切,並交代重試條件、流量上限及部署限制,呈現功能的韌性設計邊界。

  8. OpenAI News64

    OpenAI 如何透過 Performance Factory 讓 ChatGPT 保持高速運行

    OpenAI 建立雲端 Performance Factory,利用 Codex 及其模型自動調查性能退化並提出修復方案,協助維持 ChatGPT 的運行速度。

    推薦理由:文章拆解 Performance Factory 如何把告警調查、修復提案和部署後驗證串成工作流,並呈現 OpenAI 以對抗式審查及歷史事故回測改善智能體診斷的做法。