跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

400條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 21–40 條 · 共 400 條
11月20日週五
11月19日週四
  1. DEV Community78

    CVE-2026-123007:NGINX HTTP/2 漏洞的受影響範圍與修補方法

    NGINX 於 11 月 18 日修補兩項 HTTP/2 漏洞,研究團隊指 CVE-2026-123007 在特定條件下可導致伺服器端程式碼執行。修補版本為 NGINX 1.30.7(stable)及 1.31.9(mainline);受影響伺服器須編譯包含 HTTP/2 模組、啟用 HTTP/2,並有可從外部連接的連接埠。

    推薦理由:文章整理公開利用所需的流量與受影響條件,並説明停用 HTTP/2 只能阻擋兩項漏洞,仍須升級修補同一批發布中的其他問題。

  2. DEV Community78

    Nvidia 收購 Hugging Face 的協議對開發者有何改變與不變

    Nvidia 已簽署以 12 930 300 000 美元收購 Hugging Face 的協議,交易預計於 2027 年上半年完成,仍須取得所需監管批准。官方承諾平台維持開放,繼續支援其他晶片廠商,亦不要求使用 Nvidia 硬件;現有官方資料未提及授權、免費方案或價格改動。文章建議依賴 Hub 的生產部署固定模型版本,並備份關鍵模型及其授權文件。

    推薦理由:文章整理了固定生產模型版本、備份關鍵模型及保留授權文件的做法,適用於依賴 Hugging Face Hub 的部署流程。

  3. 新浪科技76

    騰訊第三季度814.33億元資本開支花在哪裏,AI業務如何變現?

    騰訊2026年第三季度資本開支升至814.33億元,大額算力採購預付款擠壓當季現金流,相關需求涵蓋混元模型升級、WorkBuddy推理、產品AI能力建設及雲服務客戶需求。

    推薦理由:文章將算力採購對現金流的壓力,與騰訊雲及WorkBuddy的收入增長並列呈現,亦交代元寶投入收縮,勾勒不同AI業務的變現進展。

  4. Numerama79

    Wiz稱AI分析工具協助發現NGINX兩個嚴重漏洞,F5發布安全更新

    F5於2026年11月18日發布NGINX安全更新,修補10個漏洞,其中兩個可在啟用HTTP/2的伺服器上被用來未經身份驗證執行程式碼。CVE-2026-123633及CVE-2026-123007均獲9.2/10評分;Wiz稱其團隊以結合多個模型的Wiz Atlas AI程式碼分析平台發現漏洞,CVE-2026-123007可追溯至2015年發布的NGINX 1.9.5。

    推薦理由:兩個漏洞隻影響啟用 HTTP/2 的 NGINX 伺服器,文章説明記憶體管理錯誤如何導致未經身份驗證的遠端程式碼執行,並列出修補版本及暫時緩解方式。

  5. 阿里雲開發者社區 AI79

    LiteLLM 半年兩度遭投毒,大語言模型的「鑰匙串」應放在哪裏?

    LiteLLM 在 2026 年第二次遭供應鏈投毒,1.107.0 的惡意構建產物透過 Python 啟動鈎子竊取雲端、AI 工具及代理憑證。文章對照 Higress 的 Wasm 沙箱與不可變發布流程,説明如何限制擴展程式的檔案、環境變數和網絡權限,並建議受影響用戶輪換所有憑證。

    推薦理由:文章把 LiteLLM 投毒的攻擊路徑與 Higress 的 Wasm 沙箱及不可變發布流程逐項對照,呈現權限隔離和版本鎖定如何限制供應鏈事故的影響範圍。

  6. Analytics India Magazine79

    OpenAI 與 AMD 利用 AI 加速晶片設計,不足五個月取得約一年進展

    OpenAI 與 AMD 利用 OpenAI 的 AI 模型優化 AMD 旗艦 GPU 架構,在不足五個月內取得約一年的晶片設計進展。GPU 的功耗、效能及面積(PPA)較經高度優化的基準設計最多改善 14%,部分模型生成的改動已納入 AMD 最近完成流片的設計。AMD 亦表示,下一代旗艦 CPU 的關鍵區塊取得個位數百分比 PPA 改善,並由 AMD 獨立驗證。

    推薦理由:材料交代 AI 模型改寫 SystemVerilog RTL、以 EDA 工具核驗功能及 PPA 的流程,並提供 GPU 架構最高 14% 改善數據。

  7. 阿里雲開發者社區 AI83

    NGINX 兩個高危漏洞可導致未經身份驗證的遠端程式碼執行

    NGINX 的 CVE-2026-123633 和 CVE-2026-123007 兩個漏洞,可讓未經身份驗證的攻擊者遠端執行程式碼。兩者 CVSS 4.0 評分均為 9.2,並要求受影響伺服器啟用 HTTP/2;CVE-2026-123007 最早影響 NGINX 1.9.5,測試亦在只提供靜態檔案的實例驗證了遠端程式碼執行。

    推薦理由:報告拆解兩個 HTTP/2 漏洞的記憶體安全成因與觸發條件,並列出修復版本及暫時緩解方式,呈現漏洞分析如何連接到部署排查。

  8. 新浪科技89

    英偉達召開首次沒有黃仁勳出席的全員大會,宣佈 12 月提前加薪並繼續遴選新 CEO

    英偉達在黃仁勳離職後召開首次沒有他出席的全員大會,宣佈把原定數月後的薪酬調整提前至 12 月,並增加股權激勵。董事會重申不會重新任命黃仁勳為 CEO,並會同時考察內外部候選人。會上亦介紹英偉達計劃於 2027 年推出可一次部署八個機櫃的模組化系統;公司 2027 財年第三季度營收為 1,158.44 億美元,數據中心業務收入約 1,076 億美元。

    推薦理由:薪酬安排、董事會換帥立場與模組化 AI 基礎設施計劃並置,呈現英偉達如何處理領導層交接下的員工穩定與業務延續。

  9. AWS Machine Learning Blog71

    Airbnb 如何以每項任務成本管理 Amazon Bedrock 上的編碼智能體

    Airbnb 分享以每項任務成本評測及 Amazon Bedrock 的 CloudWatch 生產訊號,為編碼智能體選擇預設模型和推理強度上限。評測按未快取輸入、快取讀取、快取寫入及輸出 token 計價,並與延遲、輸出 token 數和節流情況對照。

    推薦理由:文章把評測中的每項任務成本與上線後的用戶支出、請求量及配額指標連結,展示編碼智能體選型和容量管理的可操作方法。

  10. SiliconANGLE77

    Palo Alto Networks 同意以 $4.5B 收購 Applied Compute

    Palo Alto Networks 同意以 $4.5B 全股票交易收購 AI 模型訓練與推理新創 Applied Compute,交易仍須監管批准。Applied Compute 提供開放權重模型的後訓練與推理平台,交易完成後,其研究團隊將加入 Palo Alto Networks。

    推薦理由:這宗交易將 Applied Compute 的開放權重模型後訓練與推理平台納入 Palo Alto Networks 的企業安全佈局,呈現其面向混合模型環境的策略方向。

  11. Business Insider Tech83

    Nvidia 首次全員大會回應黃仁勳辭任,稱路線圖與執行策略不變

    Nvidia 高層在黃仁勳辭任後的首次全員大會上表示,公司產品路線圖、客戶關係及執行策略維持不變。臨時 CEO Colette Kress 表示,員工將於 12 月獲加薪及額外股權獎勵;董事會正尋找新任 CEO,並不考慮讓黃仁勳復任。Nvidia 計劃明年建造每次可提供 8 個機架的集裝箱式 pods,長遠讓客戶直接訂購完整數據中心。

    推薦理由:會議將管理層交接與 AI 基建擴張計劃放在同一脈絡,呈現 Nvidia 如何在黃仁勳離任後維持客戶關係,並把業務推進至模組化部署。

  12. AWS Machine Learning Blog65

    Salesforce 如何透過 Amazon SageMaker AI 跨區域推理路由支援全球模型服務

    Salesforce 將 Amazon SageMaker AI 跨區域推理路由接入 Internal Gateway,讓流量可在多個區域及帳戶中已部署的端點間轉送,並由路由層處理健康判斷與故障切換。

    推薦理由:文章以 Salesforce 的實作説明如何將跨區路由接入既有閘道、保留資料駐留限制,並以回應欄位和 CloudWatch 指標追蹤流量切換。

  13. AWS Machine Learning Blog62

    Amazon Bedrock AgentCore Gateway 如何在 hub-and-spoke 網絡中連接受中央防火牆檢查的私有 API

    AWS 提出一種 Amazon Bedrock AgentCore Gateway 私有 API 接入架構,將 VPC Lattice 資源閘道放在網絡帳戶的專用 VPC,並由其子網經 Transit Gateway 路由,使資源閘道與私有後端之間的請求及回覆經中央防火牆。

    推薦理由:文章梳理資源閘道部署、跨帳戶設定與防火牆路由,並附驗證檢查,為企業在網絡集中管控下接入私有 Agent 工具提供具體架構參考。

  14. TNW78

    OpenAI 稱其 AI 模型令 AMD 旗艦 GPU 設計的功耗、效能與面積指標改善最高 14%

    OpenAI 表示,其 AI 模型令 AMD 旗艦 GPU 設計的功耗、效能與面積指標改善最高 14%,部分改動已用於送交製造的晶片。模型改寫描述晶片電路的程式碼,並以 Synopsys 軟件檢查改動;OpenAI 稱這相當於不足五個月取得約一年的進展。

    推薦理由:部分 AMD 旗艦 GPU 設計改動已進入製造,文章亦交代模型改寫電路描述程式碼並用 Synopsys 軟件逐項檢查,具體呈現 AI 參與晶片設計的流程。

  15. OpenAI News70

    Codex 沙盒如何在用戶現有環境限制命令的檔案及網絡存取

    OpenAI 詳解 Codex 沙盒如何透過作業系統的隔離機制,在用戶現有環境中限制命令對檔案系統及網絡的存取。內建 :workspace 權限設定允許工作區內寫入、廣泛讀取檔案並預設停用網絡,用戶亦可自訂權限設定檔,或透過 codex sandbox 將沙盒執行整合到其他工具。

    推薦理由:文章串連權限設定、網絡代理與 macOS、Linux、Windows 的隔離實作,説明 Codex 如何在沿用本機開發環境時約束命令存取。

  16. OpenAI News74

    OpenAI 模型改進 Jalapeño、AMD 及 RISC-V 晶片設計

    OpenAI 表示,其模型已用於改進自研 Jalapeño、AMD GPU IP 及開源 RISC-V 核心的晶片設計,並提升 RISC-V 評測中的吞吐量。在 AMD 旗艦 GPU IP 上,相較高度優化基線,PPA 改善最高達 14%;Jalapeño warp engine 和 matrix unit 的標準單元面積則分別減少約 13% 和 10%。

    推薦理由:文章並列量產設計中的 PPA 改善與兩款開源 RISC-V 核心評測,亦交代功能取捨和物理綜合檢查等限制,可對照模型測試分數與實際晶片設計要求。

  17. Hugging Face Blog65

    Transformers 如何在 32GB Mac 上推理 180B MoE 模型,解碼速度接近 Strata

    Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。

    推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。

  18. Mastra Blog76

    Mastra Factory 推出多項新能力,加入雲端編碼智能體及可自訂工作流程

    Mastra 推出開源軟件工廠 Mastra Factory 的多項新能力,涵蓋雲端編碼智能體、可自訂工作流程、Slack 原生協作及跨工作階段持續運作的雲端工作區。

    推薦理由:文章以 Mastra 團隊的內部數據比較 Factory 使用前後的交付速度與工單分流時間,並呈現其逐步建立團隊信任的做法。