跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

400條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 81–100 條 · 共 400 條
11月13日週五
  1. IT之家77

    Microsoft 365 全球大規模中斷逾 10 小時,日本政府改用電話等方式維持運作

    Microsoft 365 的 Outlook、Teams 等核心服務發生全球性大規模中斷,日本政府部分部門改用電話、聊天工具及短訊維持運作。微軟確認相當數量伺服器意外不可用,令其他伺服器承受額外壓力,並暫停部署與配置變更、重新分配流量及重啟受影響伺服器。截至報道時,服務可用性仍未明顯恢復,微軟未公佈全面恢復時間。

    推薦理由:文章梳理伺服器意外離線如何令其餘伺服器承受額外壓力,並列出微軟暫停部署、調配流量及重啟伺服器等應對措施。

  2. 虎嗅90

    黃仁勳辭職,留下六個待解問題

    NVIDIA 宣佈,黃仁勳即時辭去總裁、CEO及董事會成員職務,Colette Kress 出任臨時 CEO,Harvey C. Jones 獲任命為董事會主席。文章梳理仍在進行的內部調查、司法調查、國會問詢及民事訴訟,並分析黃仁勳持股、家人在公司的職務,以及繼任安排面對的挑戰。文章亦探討交接如何牽動產品交付、客戶承諾、供應鏈產能及 AI 基礎設施投資。

    推薦理由:文章把接班問題放到公司治理與 AI 供應鏈兩個層面,呈現 CEO 更替如何牽動產品交付、客戶合作及產能安排。

  3. 新浪科技78

    Microsoft 365 全球大規模服務中斷,Outlook 故障通報逾 13 萬宗、持續數小時

    Microsoft 365 商業版及企業版多項服務於當地時間 11 月 12 日發生數小時服務降級,影響 Outlook、Teams、SharePoint Online、OneDrive 等多項服務。

    推薦理由:報道梳理了故障由伺服器負載過高、服務容量受損至有限恢復的進程,並呈現其對多項辦公服務及外部連接器的連帶影響。

  4. DEV Community85

    黃仁勳宣佈辭任後,AI 開發者應留意哪些工程依賴

    NVIDIA 於 2026 年 11 月 12 日宣佈黃仁勳辭任總裁、CEO 及董事職務,文章提醒開發團隊檢查實際工程依賴,而非預設會出現供應中斷。模型遷移不只涉及權重,亦取決於推理軟件、運維支援、驅動程式及相容的依賴版本。文章建議以固定任務及驗收準則比較品質、延遲、成本與失敗情況,並封存模型、依賴、設定和測試,再進行有限度的遷移演練。

    推薦理由:文章把人事變動轉化為可檢查的工程依賴,並以固定任務、記錄部署環境和小規模遷移演練,提供可重複比較的評估方法。

  5. 虎嗅79

    黃仁勳辭任英偉達CEO,折射AI產業週期更替

    英偉達CEO黃仁勳於11月12日辭任,即刻生效;公司由CFO科萊特·克雷斯出任臨時CEO並遴選繼任者。文章指出,英偉達的GPU、CUDA與開發者生態構成計算平台優勢,而AI算力競爭正延伸至資本、能源和數據中心。作者以瓦特和洛克菲勒的產業轉型作對照,提出新管理層需要把33年積累轉化為不依賴個人的組織機制。

    推薦理由:文章以瓦特和洛克菲勒的產業更替作對照,梳理英偉達如何憑GPU與CUDA生態成為AI計算基礎設施的關鍵一環。

  6. 新浪科技79

    SpaceX 計劃投資逾 740 億美元建設兩座人工智能超級計算數據中心園區

    SpaceX 計劃在得克薩斯州和亞利桑那州投資超過 740 億美元,建設兩座人工智能超級計算數據中心園區。得州項目投資超過 240 億美元,亞利桑那州項目約 500 億美元,仍待科奇斯縣批准。SpaceX 表示,得州設施將自建燃氣發電、不依賴公共電網;亞利桑那園區計劃採用乾式冷卻、不使用工業地下水,當地已有約 2,400 人簽名反對許可。

    推薦理由:SpaceX 的兩座園區分別涉及自建燃氣發電與乾式冷卻,亞利桑那項目另面臨審批及社區反對,呈現算力擴建的能源與地方協調問題。

  7. IT之家76

    SpaceX 計劃投資超過 740 億美元興建兩座 AI 超級計算數據中心園區

    SpaceX 於 11 月 12 日宣佈,計劃在得克薩斯州和亞利桑那州投資超過 740 億美元,興建兩座面向 AI 的超級計算數據中心園區。得州園區投資超過 240 億美元,設於 Starbase 附近並自建燃氣發電能力;亞利桑那州園區投資約 500 億美元,計劃採用乾式冷卻。亞利桑那項目仍待科奇斯縣批准,約 2,400 人已簽署請願反對許可,縣聽證會定於 12 月舉行。

    推薦理由:兩個園區的投資規模、供電與冷卻安排,以及亞利桑那項目的審批阻力,交代 SpaceX 擴張 AI 算力基建所面對的建設條件。

  8. AWS Machine Learning Blog63

    Natera 如何以 Amazon Bedrock AgentCore 設計實驗室運維智能體系統

    Natera 與 AWS 使用 Amazon Bedrock AgentCore 建置 SWARM,為實驗室運維支援工單自動生成診斷報告。在 90 天生產評估中,平均首次回應時間由 17.4 小時降至約 8 分鐘,約快 130 倍;96.2% 的工單在工程師查看前收到自動診斷報告。

    推薦理由:文章拆解 SWARM 的雙運行時、技能庫、資料管線與持續評估設計,並提供實驗室工單自動診斷的實測數據,呈現一套可參考的運維智能體建置路徑。

  9. Business Insider Tech76

    Lisa Su 是 AMD 行政總裁,也是 Jensen Huang 的表親

    Jensen Huang 宣佈辭任 Nvidia 行政總裁後,有業界人士提出其表親、AMD 行政總裁 Lisa Su 可作外部接任人選,文章回顧她的職涯。Su 於 2012 年加入 AMD,2014 年出任總裁兼行政總裁;Ryzen 和 EPYC 協助公司重拾消費產品市場份額,並拓展數據中心及伺服器業務。

    推薦理由:文章按職涯階段梳理 Lisa Su 如何帶領 AMD 從市值不足 $2 billion 成長至超過 $950 billion,並交代她面對的 AI 晶片競爭與中國出口限制。

  10. AWS Machine Learning Blog62

    Amazon Bedrock 如何按 IAM 主體追蹤並限制支出:使用 CUR 2.0 和 AWS Budgets

    AWS 説明如何透過 Cost Explorer 或 CUR 2.0 查看 Amazon Bedrock 按 IAM 主體劃分的支出,並以 AWS Budgets 設定限制,常見情況毋須編寫應用程式程式碼。

    推薦理由:文章示範以 IAM 主體標籤、CUR 2.0 與 AWS Budgets 建立 Amazon Bedrock 身份級成本報表和支出限制,並交代共享角色及帳單更新延遲的影響。

  11. TNW80

    SpaceX 計劃斥資 $74B 在亞利桑那州及德州興建 AI 計算中心

    SpaceX 計劃斥資 $74B 在亞利桑那州和德州興建兩個 AI 超級計算中心,投資額分別為 $50B 和 $24B。德州項目包括 SpaceX 自行建造、持有及營運的燃氣發電廠;Anthropic 是其最大算力客戶,Google 同意每月支付 $920M 購買算力。亞利桑那園區預計創造約 5,500 個建築工程職位和 1,000 個長期職位,但居民在會議上就水資源、電費和野生動物表達憂慮。

    推薦理由:兩地項目的投資額與職位數目,配合 Anthropic、Google 的算力採購資料,交代 SpaceX 擴張 AI 計算業務的規模及商業背景。

  12. AWS Machine Learning Blog67

    Amazon Bedrock AgentCore 新一代 runtime 啟動工作階段低於 2 秒

    Amazon Bedrock AgentCore 宣佈更新 AgentCore runtime,工作階段啟動速度最高提升 15 倍、算力擴展至前代 4 倍,運行效率最高提升 68%,並維持硬件隔離。

    推薦理由:新版把硬件隔離、快速啟動、彈性算力與資料置於信任邊界內,並加入閒置縮至零及按需回收記憶體的管理方式,具體呈現正式部署中安全、效能與成本的取捨。

  13. MarkTechPost77

    AWS 發佈 AWS Emulator,涵蓋 200 多項 AWS 服務並由 AI 智能體編寫及審核程式碼

    AWS 發佈本機 AWS API 模擬器 AWS Emulator,涵蓋 438 個 AWS API 模型及 200 多項服務,AWS CLI 和 SDK 可連接使用,無需 AWS 帳戶或服務費。

    推薦理由:文章列出 AWS Emulator 在 42,857 項保真度測試中通過 56.6%,並呈現不同 AWS 服務的成績差異,方便評估其本機及 CI 測試用途。

11月12日週四
  1. AWS Machine Learning Blog62

    在 Amazon SageMaker HyperPod 上偵測及恢復靜默數據損壞

    文章示範在 Amazon SageMaker HyperPod 的 PyTorch DDP 訓練流程加入三項檢查,以偵測靜默數據損壞並定位可疑 GPU。流程涵蓋非有限梯度檢查、跨節點 ring replay 和權重指紋比對,並説明如何隔離及替換可疑節點,再從可疑窗口前的檢查點恢復。

    推薦理由:文章將靜默數據損壞的偵測、定位及節點恢復連成 DDP 實作流程,並説明各項檢查的覆蓋範圍與效能成本。

  2. AWS Machine Learning Blog68

    OpenAI Codex 接入 Amazon Bedrock 的企業部署指南

    AWS Machine Learning Blog 説明如何讓 OpenAI Codex 透過 Amazon Bedrock 使用受支援的 OpenAI 模型,並納入既有 AWS 身份、IAM、區域及可觀測性安排。

    推薦理由:文章比較 Native AWS Access、AgentCore Gateway 與 LLM Gateway 三種接入路徑,並整理身份隔離、遙測、成本歸因及回滾等試點檢查,為企業分階段部署提供具體依據。

  3. 新浪科技77

    Stripe 宣佈全球最大 AI 模型 API 聚合平台 OpenRouter 正式併入旗下

    Stripe 宣佈 AI 模型 API 聚合平台 OpenRouter 正式併入旗下,雙方將協助企業探索新商業模式,並優化 Token 路由和用量。合作方向亦包括探索新模型、分配模型調用及優化 Token 使用,讓企業更有效運用 AI 資源。《紐約時報》今年 8 月引述匿名知情人士稱收購價為 75 億美元;彭博社此前報道的口徑則是「超 70 億美元」。

    推薦理由:這宗收購把模型 API 聚合平台納入 Stripe,並將其 AI 業務方向延伸至企業的模型選擇、調用分配與 Token 用量管理。

  4. Hacker News 熱門(buzzing.cc 中文翻譯)79

    AWS 推出 AWS Emulator,讓編碼智能體在本機測試 AWS 服務

    AWS 推出 AWS Emulator,讓編碼智能體可在本機以 AWS 的模擬環境進行測試。AWS Emulator 由智能體撰寫及測試,建基於 400 多個 API 模型,涵蓋 200 多項 AWS 服務,並可免費離線執行。其測試會對照真實 AWS;工程師則透過規格、測試及合併關卡,判定智能體的工作是否正確。

    推薦理由:文章以 AWS Emulator 説明,智能體可依公開 API 模型及真實 AWS 建立測試環境,工程師則以規格、測試和合併關卡把守品質。