跳到正文

部署工程

把模型跑起來的工程實踐:推理優化、顯存與成本、Serving 架構與基礎設施選型。

400條精選相關主題開源生態數據與訓練端側 AI

最新精選

第 61–80 條 · 共 400 條
11月17日週二
  1. Hugging Face Blog76

    Hugging Face 與 OpenRouter 合作,簡化開放權重模型的調用

    Hugging Face 宣佈與 OpenRouter 合作,將 Inference Providers 的語言模型請求改由 OpenRouter 路由,按供應商即時價格、速度和可靠性選擇服務商,並在失敗時改由其他供應商重試。

    推薦理由:文章説明語言模型路由如何按即時價格、速度和可靠性選擇供應商,並交代故障重試及自備 API key 不再適用的影響。

  2. AWS Machine Learning Blog62

    Amazon Bedrock 開放權重模型現支援顯式提示詞快取

    Amazon Bedrock 的開放權重模型現已支援顯式提示詞快取,並可透過 Chat Completions API 標記可重用的提示詞前綴。文章以 Python 範例比較隱式與顯式快取,並示範 OpenCode 編碼智能體工作階段如何使用隱式快取及檢視快取用量欄位。快取讀取的費率低於標準輸入,快取寫入費率則視乎模型而定;回應中的用量欄位可用來核對快取讀寫。

    推薦理由:文章比較隱式與顯式快取的適用情境,並以 Python 範例展示快取讀寫欄位,再示範 OpenCode 工作階段中的快取讀取。

11月16日週一
  1. DEV Community76

    Qwen4-Max 發佈:2.4T 參數,Work360 任務平均成本下降 62%

    阿里巴巴千問團隊推出旗艦模型 Qwen4-Max,採用 2.4T 參數稀疏 MoE 架構,支援原生視覺及 100 萬 token 上下文窗口。在千問自有的 Work360 評測中,每項任務平均成本由 $4.43 降至 $1.67,較 Qwen3.8-Max 減少 62%;Qwen4-Max 本身並未開源。

    推薦理由:文章結合 Qwen4-Max 的架構與長程智能體案例,並交代 62% 成本降幅來自千問自有的 Work360 評測,呈現數字的比較背景。

  2. DEV Community80

    Grok Build 35,578 個應用程式在未登入狀態下仍可存取資料

    Claroc 研究人員測試了 43,551 個 Grok Build 應用程式網址,其中 35,578 個在未登入的瀏覽器中仍可開啟。文章指出,問題在於讀取時缺少授權檢查;當日仍在線的應用程式中,94.7% 可供陌生人存取,只有 1,993 個回應 401。作者建議盤點可透過連結存取的物件,並在讀取時執行授權檢查,監察未登入用戶的拒絕請求。

    推薦理由:文章把分享連結與讀取授權分開討論,並整理應用程式、檔案、Agent 記錄及快取等暴露面,提供一套可執行的安全檢查方向。

  3. DEV Community81

    如何用 15 分鐘檢查 Lovable 或 Supabase 應用程式能否讓訪客免登入讀取資料

    Vishal Solanki 提供一套 15 分鐘檢查流程,讓使用 Lovable 或 Supabase 建立應用程式的開發者核實未登入訪客能否讀取資料。流程包括檢查 RLS、資料表權限和政策,使用 publishable key 模擬未登入請求,並測試帳戶間的資料隔離、Storage bucket 及前端是否洩漏 secret key。

    推薦理由:文章把 Supabase 權限檢查拆成 RLS、資料表授權、匿名請求及雙帳戶測試,讓開發者可從實際回應核對資料是否對未登入訪客開放。

11月15日週日
  1. DEV Community87

    Jensen Huang 辭任 Nvidia CEO,開發者關注 CUDA 未來走向

    Nvidia 宣佈 Jensen Huang 辭去總裁、CEO 及董事職務,CFO Colette Kress 暫代 CEO,永久接任人選尚未公佈。文章指出,目前沒有 CUDA、晶片路線圖或 GPU 供應變動的公告,並將永久 CEO 人選視為關乎 CUDA 及開發者生態延續的關鍵。

    推薦理由:文章把 Nvidia 接班問題連到 CUDA 的軟件生態,並區分目前營運未見變動與永久 CEO 人選可能牽動的長期方向。

  2. 虎嗅84

    Marvell 與 Lumentum 簽署收購協議,交易估值約 1,150 億美元(人民幣 7671 億元)

    Marvell 已與 Lumentum 簽署最終協議,將以全股票方式收購後者,交易隱含企業價值約 1,150 億美元(人民幣 7671 億元)。協議按每股 Lumentum 換取 4.5 股 Marvell 計算,較 Lumentum 10 月 28 日未受傳聞影響的收盤價溢價 23.9%,但公告當日兩家公司股價均下跌。

    推薦理由:文章結合交易後股價反應與光互連路線演進,交代 Marvell 收購 Lumentum 背後的技術整合考量。

  3. 虎嗅85

    黃仁勳離場,Neo Cloud 擴張模式走向黃昏

    黃仁勳於11月12日辭去英偉達總裁、行政總裁及董事會成員職務,令依賴其信用支持的 Neo Cloud 擴張模式面臨收縮壓力。英偉達季報披露,賬外不同類型的未來承諾與最高潛在擔保金額合計約5305億美元,Colette Kress獲任臨時行政總裁。文章指出,不少 Neocloud 缺乏成熟自研軟件,擴張依賴長約、融資和英偉達支持,可能在資金收緊下出現分化。

    推薦理由:文章梳理英偉達潛在擔保、長期算力合約與 Neocloud 融資結構的連動,呈現黃仁勳離任後,信用支持變化對算力供應鏈的影響。

11月14日週六
  1. The Guardian Technology83

    Microsoft 稱全球故障後服務已全面恢復,多國政府及公共服務受影響

    Microsoft 表示,影響全球政府、企業及公共服務的故障已全面修復,受影響的 Microsoft 365 服務包括 Outlook、Teams 和 Copilot。故障於週四開始,Downdetector 收到來自 70 多個國家和地區的用戶報告。Microsoft 稱,事件與網絡安全或 AI agents 無關,起因是較早前網絡容量升級中的問題在近期網絡變更後浮現。

    推薦理由:這次故障波及政府、醫療、法院、航空及銀行等服務,呈現公共服務依賴同一科技供應商時,故障如何跨系統擴散。

  2. 虎嗅76

    黃仁勳辭任 NVIDIA 總裁、CEO 及董事,為何中國資產跌得更多?

    文章認為,黃仁勳辭任 NVIDIA 總裁、CEO 及董事,加上 RASA 等遠端算力監管措施推進的可能,或令中國 AI 資產承壓,並影響 NVIDIA 的長期開源生態策略。

    推薦理由:文章對照實體晶片出口限制與雲端算力遠端存取監管,梳理 RASA 可能如何把影響由 NVIDIA 收入延伸至中國開源生態及硬件架構。

  3. Analytics India Magazine87

    黃仁勳離任,AMD 和 Google 迎來最大的 AI 機遇

    黃仁勳在執掌 NVIDIA 33 年後辭去行政總裁一職,為 AMD 和 Google 擴大 AI 晶片業務帶來機會,並可能促使買家分散算力供應。

    推薦理由:文章將 AMD 的多年期 GPU 部署承諾、Google TPU 對外商用化與 NVIDIA 領導層變動並置,梳理大型買家分散 AI 算力供應的商業推力及遷移障礙。

  4. 虎嗅83

    NVIDIA 除黃仁勳離任外,還面對多重挑戰

    黃仁勳於11月12日辭去 NVIDIA 總裁、首席執行官及董事職務,結束33年掌舵生涯;文章指出,NVIDIA 還面對客戶自研晶片、軟件移植成本下降及融資策略延續等挑戰。其互連網絡與 AI 計算平台構成競爭壁壘,但雲端服務商和模型公司正加快自研晶片,AI 編程亦可能降低跨平台移植成本。文章亦分析黃仁勳以採購承諾和融資平台支持下游客戶的做法,並指出其能否延續取決於實際 AI 需求及繼任者的投資取向。

    推薦理由:文章把 NVIDIA 的競爭壁壘拆分為互連與網絡生態、客戶自研晶片及融資支持,呈現黃仁勳離任後多重挑戰如何交織。

  5. SiliconANGLE82

    Microsoft 大規模故障波及逾 70 個國家的企業及政府機構

    Microsoft 網絡故障令 Exchange Online 停擺,影響逾 70 個國家的企業及政府機構,並波及依賴 Exchange 收件箱資料的部分 Microsoft Teams 和 Microsoft Copilot 365 功能。

    推薦理由:故障波及逾 70 個國家及依賴 Exchange 資料的多項服務,報道亦交代 Microsoft 對網絡容量升級問題的説明和各地復原進度。

  6. AWS Machine Learning Blog63

    如何透過 NVIDIA NeMo Switchyard 在 Amazon Bedrock 為編碼智能體請求路由至合適模型

    這篇教學示範如何在 Amazon Bedrock 上部署 LiteLLM 與 NVIDIA NeMo Switchyard,將編碼智能體的請求路由至合適模型。Switchyard 的 LiteLLM 整合支援 Stage 與 Random 兩種路由策略,並以路由模型組與單模型基線比較每個成功完成任務的成本。

    推薦理由:文章把智能體路由的比較指標從每 token 價格轉為每個成功完成任務的成本,並示範以相同任務比較路由模型組與單模型基線,按測試是否通過判定任務完成。

  7. AWS Machine Learning Blog62

    Amazon Bedrock AgentCore runtime 的快速工作階段啟動架構模式

    Amazon Bedrock AgentCore runtime V2 在建立或更新 runtime 時初始化容器並建立快照,新工作階段則還原快照,毋須每次重新初始化容器。文章説明如何量度工作階段啟動延遲,並建議把靜態工作移至 init,或用 build hook 預載無法保留在記憶體的檔案。若要低於 1 秒,可在用戶開始互動時於背景啟動工作階段,讓它在首個請求前就緒。

    推薦理由:文章拆解 V2 的快照建立與還原流程,並按不同延遲需求整理初始化、build hook 與預先啟動工作階段的實作選擇,説明各做法適用的啟動情境。

  8. AWS Machine Learning Blog66

    Amazon Bedrock 如何追蹤 AI 開發及生產力工具成本並設定支出控制

    Amazon Bedrock 可透過 IAM 主體歸屬,追蹤經由平台呼叫推理的 AI 開發及生產力工具的個別用戶成本,並配合不同機制管理支出。教學示範以 IAM Identity Center 傳遞用戶身份及團隊、成本中心標籤,再透過 CUR 2.0、Athena 和儀錶板查看成本。

    推薦理由:文章串連 IAM Identity Center、CUR 2.0 與 Athena,展示如何追蹤 Bedrock 工具的個別用戶成本,並比較不同支出控制方案的執行延遲與運維取捨。

  9. BBC Technology78

    Microsoft 服務中斷逾 22 小時,凸顯社會對大型科技服務的依賴

    Microsoft 365 服務因例行自動檢查令部分伺服器離線,並使其他伺服器因流量過大而超負荷,故障持續逾 22 小時。全球約 430 million 人使用 Microsoft 365,故障影響超過 70 個國家,並波及美國眾議院、澳洲情報機構、新加坡法院系統及印度航空公司支援台。Microsoft 已就事件致歉,稱原因是技術故障而非網絡攻擊,並正檢討事故,以制定防止類似中斷的措施。

    推薦理由:故障由例行自動檢查令部分伺服器離線引起,跨國企業與公共機構受影響的案例呈現關鍵服務集中依賴的風險。

11月13日週五
  1. DEV Community78

    數據管線與 Agent 的後量子遷移:逐項解析相關協議

    這篇指南以 Google Cloud 數據平台和 AI Agent 為例,逐項梳理 TLS、身分協議與簽署流程的後量子遷移。NIST 於 2026 年 10 月 27 日公佈的最終計劃,將所有容易受到量子攻擊的簽署及金鑰建立演算法列為 2030 年後棄用(仍可使用但有安全風險),並於 2035 年後禁止使用;相較 2024 年草案,2030 年的棄用範圍擴至所有強度。

    推薦理由:文章按金鑰協商、加密與簽署梳理遷移次序,並指出數據管線及 Agent 各協議中應由哪一方先行改動。