如何在 Amazon EKS 上使用 NVIDIA Run:ai GPU Fractioning
文章示範如何在 Amazon EKS 設定 NVIDIA Run:ai GPU Fractioning,並以自訂 AL2023 映像及 G5/A10G 配置驗證 GPU 記憶體共享。
推薦理由:文章以 G5/A10G 實測展示 Pod 記憶體合約、用量監測及超限拒絕的驗證流程,並交代這項測試未涵蓋的隔離與效能範圍。
把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。
文章示範如何在 Amazon EKS 設定 NVIDIA Run:ai GPU Fractioning,並以自訂 AL2023 映像及 G5/A10G 配置驗證 GPU 記憶體共享。
推薦理由:文章以 G5/A10G 實測展示 Pod 記憶體合約、用量監測及超限拒絕的驗證流程,並交代這項測試未涵蓋的隔離與效能範圍。
NGINX 於 11 月 18 日修補兩項 HTTP/2 漏洞,研究團隊指 CVE-2026-123007 在特定條件下可導致伺服器端程式碼執行。修補版本為 NGINX 1.30.7(stable)及 1.31.9(mainline);受影響伺服器須編譯包含 HTTP/2 模組、啟用 HTTP/2,並有可從外部連接的連接埠。
推薦理由:文章整理公開利用所需的流量與受影響條件,並説明停用 HTTP/2 只能阻擋兩項漏洞,仍須升級修補同一批發布中的其他問題。
Nvidia 已簽署以 12 930 300 000 美元收購 Hugging Face 的協議,交易預計於 2027 年上半年完成,仍須取得所需監管批准。官方承諾平台維持開放,繼續支援其他晶片廠商,亦不要求使用 Nvidia 硬件;現有官方資料未提及授權、免費方案或價格改動。文章建議依賴 Hub 的生產部署固定模型版本,並備份關鍵模型及其授權文件。
推薦理由:文章整理了固定生產模型版本、備份關鍵模型及保留授權文件的做法,適用於依賴 Hugging Face Hub 的部署流程。
騰訊2026年第三季度資本開支升至814.33億元,大額算力採購預付款擠壓當季現金流,相關需求涵蓋混元模型升級、WorkBuddy推理、產品AI能力建設及雲服務客戶需求。
推薦理由:文章將算力採購對現金流的壓力,與騰訊雲及WorkBuddy的收入增長並列呈現,亦交代元寶投入收縮,勾勒不同AI業務的變現進展。
F5於2026年11月18日發布NGINX安全更新,修補10個漏洞,其中兩個可在啟用HTTP/2的伺服器上被用來未經身份驗證執行程式碼。CVE-2026-123633及CVE-2026-123007均獲9.2/10評分;Wiz稱其團隊以結合多個模型的Wiz Atlas AI程式碼分析平台發現漏洞,CVE-2026-123007可追溯至2015年發布的NGINX 1.9.5。
推薦理由:兩個漏洞隻影響啟用 HTTP/2 的 NGINX 伺服器,文章説明記憶體管理錯誤如何導致未經身份驗證的遠端程式碼執行,並列出修補版本及暫時緩解方式。
LiteLLM 在 2026 年第二次遭供應鏈投毒,1.107.0 的惡意構建產物透過 Python 啟動鈎子竊取雲端、AI 工具及代理憑證。文章對照 Higress 的 Wasm 沙箱與不可變發布流程,説明如何限制擴展程式的檔案、環境變數和網絡權限,並建議受影響用戶輪換所有憑證。
推薦理由:文章把 LiteLLM 投毒的攻擊路徑與 Higress 的 Wasm 沙箱及不可變發布流程逐項對照,呈現權限隔離和版本鎖定如何限制供應鏈事故的影響範圍。
OpenAI 與 AMD 利用 OpenAI 的 AI 模型優化 AMD 旗艦 GPU 架構,在不足五個月內取得約一年的晶片設計進展。GPU 的功耗、效能及面積(PPA)較經高度優化的基準設計最多改善 14%,部分模型生成的改動已納入 AMD 最近完成流片的設計。AMD 亦表示,下一代旗艦 CPU 的關鍵區塊取得個位數百分比 PPA 改善,並由 AMD 獨立驗證。
推薦理由:材料交代 AI 模型改寫 SystemVerilog RTL、以 EDA 工具核驗功能及 PPA 的流程,並提供 GPU 架構最高 14% 改善數據。
NGINX 的 CVE-2026-123633 和 CVE-2026-123007 兩個漏洞,可讓未經身份驗證的攻擊者遠端執行程式碼。兩者 CVSS 4.0 評分均為 9.2,並要求受影響伺服器啟用 HTTP/2;CVE-2026-123007 最早影響 NGINX 1.9.5,測試亦在只提供靜態檔案的實例驗證了遠端程式碼執行。
推薦理由:報告拆解兩個 HTTP/2 漏洞的記憶體安全成因與觸發條件,並列出修復版本及暫時緩解方式,呈現漏洞分析如何連接到部署排查。
英偉達在黃仁勳離職後召開首次沒有他出席的全員大會,宣佈把原定數月後的薪酬調整提前至 12 月,並增加股權激勵。董事會重申不會重新任命黃仁勳為 CEO,並會同時考察內外部候選人。會上亦介紹英偉達計劃於 2027 年推出可一次部署八個機櫃的模組化系統;公司 2027 財年第三季度營收為 1,158.44 億美元,數據中心業務收入約 1,076 億美元。
推薦理由:薪酬安排、董事會換帥立場與模組化 AI 基礎設施計劃並置,呈現英偉達如何處理領導層交接下的員工穩定與業務延續。
Airbnb 分享以每項任務成本評測及 Amazon Bedrock 的 CloudWatch 生產訊號,為編碼智能體選擇預設模型和推理強度上限。評測按未快取輸入、快取讀取、快取寫入及輸出 token 計價,並與延遲、輸出 token 數和節流情況對照。
推薦理由:文章把評測中的每項任務成本與上線後的用戶支出、請求量及配額指標連結,展示編碼智能體選型和容量管理的可操作方法。
Palo Alto Networks 同意以 $4.5B 全股票交易收購 AI 模型訓練與推理新創 Applied Compute,交易仍須監管批准。Applied Compute 提供開放權重模型的後訓練與推理平台,交易完成後,其研究團隊將加入 Palo Alto Networks。
推薦理由:這宗交易將 Applied Compute 的開放權重模型後訓練與推理平台納入 Palo Alto Networks 的企業安全佈局,呈現其面向混合模型環境的策略方向。
Nvidia 高層在黃仁勳辭任後的首次全員大會上表示,公司產品路線圖、客戶關係及執行策略維持不變。臨時 CEO Colette Kress 表示,員工將於 12 月獲加薪及額外股權獎勵;董事會正尋找新任 CEO,並不考慮讓黃仁勳復任。Nvidia 計劃明年建造每次可提供 8 個機架的集裝箱式 pods,長遠讓客戶直接訂購完整數據中心。
推薦理由:會議將管理層交接與 AI 基建擴張計劃放在同一脈絡,呈現 Nvidia 如何在黃仁勳離任後維持客戶關係,並把業務推進至模組化部署。
Nvidia 公佈第三季數據中心收入為 $107.6 billion,按年增長 110%,並披露與 AI 基建項目相關、最高達 $118 billion 的財務擔保。
推薦理由:Nvidia 的擔保與長期供應承諾顯示,AI 基建擴張不只受晶片供應制約,也牽涉供電設施融資及記憶體、封裝等產能。
Salesforce 將 Amazon SageMaker AI 跨區域推理路由接入 Internal Gateway,讓流量可在多個區域及帳戶中已部署的端點間轉送,並由路由層處理健康判斷與故障切換。
推薦理由:文章以 Salesforce 的實作説明如何將跨區路由接入既有閘道、保留資料駐留限制,並以回應欄位和 CloudWatch 指標追蹤流量切換。
AWS 提出一種 Amazon Bedrock AgentCore Gateway 私有 API 接入架構,將 VPC Lattice 資源閘道放在網絡帳戶的專用 VPC,並由其子網經 Transit Gateway 路由,使資源閘道與私有後端之間的請求及回覆經中央防火牆。
推薦理由:文章梳理資源閘道部署、跨帳戶設定與防火牆路由,並附驗證檢查,為企業在網絡集中管控下接入私有 Agent 工具提供具體架構參考。
OpenAI 表示,其 AI 模型令 AMD 旗艦 GPU 設計的功耗、效能與面積指標改善最高 14%,部分改動已用於送交製造的晶片。模型改寫描述晶片電路的程式碼,並以 Synopsys 軟件檢查改動;OpenAI 稱這相當於不足五個月取得約一年的進展。
推薦理由:部分 AMD 旗艦 GPU 設計改動已進入製造,文章亦交代模型改寫電路描述程式碼並用 Synopsys 軟件逐項檢查,具體呈現 AI 參與晶片設計的流程。
OpenAI 詳解 Codex 沙盒如何透過作業系統的隔離機制,在用戶現有環境中限制命令對檔案系統及網絡的存取。內建 :workspace 權限設定允許工作區內寫入、廣泛讀取檔案並預設停用網絡,用戶亦可自訂權限設定檔,或透過 codex sandbox 將沙盒執行整合到其他工具。
推薦理由:文章串連權限設定、網絡代理與 macOS、Linux、Windows 的隔離實作,説明 Codex 如何在沿用本機開發環境時約束命令存取。
OpenAI 表示,其模型已用於改進自研 Jalapeño、AMD GPU IP 及開源 RISC-V 核心的晶片設計,並提升 RISC-V 評測中的吞吐量。在 AMD 旗艦 GPU IP 上,相較高度優化基線,PPA 改善最高達 14%;Jalapeño warp engine 和 matrix unit 的標準單元面積則分別減少約 13% 和 10%。
推薦理由:文章並列量產設計中的 PPA 改善與兩款開源 RISC-V 核心評測,亦交代功能取捨和物理綜合檢查等限制,可對照模型測試分數與實際晶片設計要求。
Transformers 的 MoE 專家串流實作在 32GB Mac M5 上運行 Qwen3.8-Flash-Next,200-token 解碼達 13.9 tok/s,與 Strata 的 14.8 tok/s 相差約 6%。
推薦理由:文章以同一台 M5 和相同提示詞比較 Transformers 與 Strata,呈現專家串流優化後短文本解碼差距約 6%,並指出剩餘效能瓶頸。
Mastra 推出開源軟件工廠 Mastra Factory 的多項新能力,涵蓋雲端編碼智能體、可自訂工作流程、Slack 原生協作及跨工作階段持續運作的雲端工作區。
推薦理由:文章以 Mastra 團隊的內部數據比較 Factory 使用前後的交付速度與工單分流時間,並呈現其逐步建立團隊信任的做法。