NVIDIA 如何協同設計稀疏注意力,提升長上下文推理效率
NVIDIA 探討如何協同設計稀疏注意力,以提升長上下文推理效率。隨着 Agent 工作負載、長文件和大型程式碼庫推動上下文長度由數萬個 token 增至數十萬個 token,注意力機製成為 Transformer 層中成本最高的部分;在 128K token 時,密集註意力可佔用大部分預填充時間。
NVIDIA 探討如何協同設計稀疏注意力,以提升長上下文推理效率。隨着 Agent 工作負載、長文件和大型程式碼庫推動上下文長度由數萬個 token 增至數十萬個 token,注意力機製成為 Transformer 層中成本最高的部分;在 128K token 時,密集註意力可佔用大部分預填充時間。
SGLang 團隊回顧首屆 SGLang Summit,會上宣佈 SGLang v1.0、Miles v0.2,並成立由九名創始成員組成的 SGLang Consortium。
文章梳理軟件團隊如何由前沿 AI 實驗室的 API,轉用推理服務商託管的開放權重模型,並選擇相應部署方式。轉用的常見原因包括降低成本、加強延遲控制和微調模型;典型路徑是先用多租戶 API,再按需求遷至專用 GPU。文章亦分析 TTFT 延遲、KV cache、快取命中率、速率限制和 GPU 容量等工程考量。
Hacker News 熱帖討論一篇《紐約時報》文章,標題稱 AI 推翻了計算機科學的一項核心定理,文章涉及 ETH 與 P=NP。留言質疑相關成果是否已獲驗證,以及它對 P 與 NP 問題或實際計算有何影響。
騰訊混元於 11 月 16 日發佈 Hy4 flash,總參數量為 224B(其中 64B Engram 參數)、激活參數為 12B,並支援多模態及 1M 上下文。
Cloudflare 已推出 Clef 和 Clairic 兩款 System One 模型,AI Platform 負責人 Michelle Chen 在 AI Engineer Code Summit 上將公司描述為 Neolab。
測試時計算是在模型完成訓練後,透過多次抽樣、搜尋部分解答或反覆修訂,增加回答時的計算,以提高模型在可驗證任務上的答對機會。研究顯示,按問題難度分配計算的策略,效率比直接採用 best-of-N 抽樣高四倍以上;在容易及中等問題上,較小模型加上額外計算可勝過規模為其 14 倍的模型,但在最難問題上幾乎沒有改善。這種方法的效益受驗證器可靠程度、延遲和每次查詢成本限制,也不能取代預訓練帶來的能力。
阿里雲在 2026 年雙 11 為 Qwen3.8-Flash 提供按量節省計劃、Token Plan 訂閲、夜間 4 折及上下文快取折扣,兩套計費通道的額度與優惠不能互通。
阿里巴巴 Qwen 團隊推出 Qwen4-Max,模型總參數量為 2.4 trillion、每個 token 啟用 71 billion 個參數,提供 1M-token 上下文窗口,但只透過封閉 QwenCloud API 提供,沒有可下載權重。
AI 推理需求帶動光學計算重新受到業界關注,多間初創公司正探索以光學元件處理矩陣向量乘法,或把計算加入數據中心的網絡傳輸路徑。相關市場估值由 2022 年的 US $0.4 billion 增至 US $2.22 billion,業界公司以較現有 GPU 高 10 至 80 倍的能源效率為目標。文章指出,數據編碼、模數轉換及其他無法由光學處理的運算,仍會影響整體能源收益。
AMD 於 2026年11月17日宣佈完成收購多倫多模型專用推理晶片開發商 Taalas,並計劃把其技術納入加速器路線圖。11月4日的季度申報曾將待完成交易估值列為約 $2.9 billion,包括最高約 $1.4 billion 的或有對價;Taalas 稱 HC1 在其實驗室測得每位用戶每秒 17,000 tokens。
國內日均 Token 調用量已突破500萬億,算力市場需求暴漲。2025年,鄭緯民院士團隊研發的模型推理系統 Mooncake 獲埃裏克・裏德爾最佳論文獎,其核心 PD 分離技術將讀入用戶問題和生成回答分由兩組算力處理。在相同硬件規模下,系統可多承接75%的用戶請求,長文本吞吐能力提升五倍以上。
SiMa.ai 發佈 Palette 3.0,讓多個 AI 模型可在單顆 Modalix MLSoC 晶片上並行運行,並稱模型吞吐量最高可提升 3.5 倍。
文章預測,2027 年數據中心算力競爭將更著重在客戶服務要求下可交付的有效容量,以及可接受答案的推理成本。四項預測包括在固定硬件與模型下,達到延遲目標的吞吐量至少提升 30%;按工作負載拆分 prefill 與 decode;替代加速器在特定服務中具成本優勢;以及智能體基準同時衡量系統能耗與成功完成的任務。
OVHcloud 於 2026 年 11 月 17 日宣佈推出首個大語言模型系列 Olala,首款為 Olala mini 7A1B,並計劃在 Hugging Face 以 Apache 2.0 授權開源。
文章拆解 GRPO 的數學原理與訓練流程,説明它如何以同一提示詞下多個輸出的組內獎勵作為基線,取代 PPO 的 Critic 網絡。每個輸出的獎勵經標準化後,會作為該序列各 token 的優勢值,並配合裁剪目標及 KL 正則化更新策略。文章亦介紹以規則驗證器為數學和程式任務提供獎勵,並附 PyTorch 實作及組大小、格式獎勵和生成長度等實作陷阱。
Saurabh Bhayana 的指南整理 Claude Fable 5.2 的定價、Anthropic 公佈的基準測試,以及它與 Mythos 5.2、Opus 5.5 的差異。
推薦理由:文章比較 Anthropic 的基準與工作成本估算,指出 Fable 5.2 雖然每個 token 收費是 Opus 5.5 的兩倍,部分測試的單項任務成本仍較低。
ShVaSa Lab 整理 Reflection Anchors 在長鏈多模態推理中的架構與基準測試,報告其首 token 延遲為 165 ms,較標準稠密基線快 11.2 倍。測試亦報告 KV cache 記憶體用量減少 87.5%、吞吐量提高 4.8 倍,Exact Match 達 100.0%。
AlphaEvolve、STaR 與 Darwin Gödel Machine 展示了不同的 AI 自我改進方式,但沒有任何一個實現不受限制、可無止境的遞歸自我改進。
LinkedIn 技術主管 Sundara Raman Ramachandran 分享團隊如何擴展用於搜尋與推薦的 LLM 排名系統,以應對嚴格的 P99 延遲要求和高併發。
Sarvam 向所有人開放 Sarvam Token Factory,透過印度 GPU 叢集提供自家及開放權重模型的推理服務。平台以單一 OpenAI-compatible API 接入,發佈時列出 8 款模型,並提供企業本地部署。
長鑫科技在第三季業績説明會表示,2026 年首三季全球 DRAM 供應緊張情況延續,端側 AI 記憶體需求增速顯著高於其他細分領域。公司已推出首款 LPDDR6 產品,並已在國內旗艦手機量產,亦與多家主要客戶協商長期供貨協議。
報告提出 Sage S1.5 Flash,這是一款 320-billion-parameter 通用混合專家模型,旨在根據科學證據進行推理,並在互動環境中執行任務。
Tabish Hassan 以 MLX 和 Gemma 3 12B(4-bit)測試指出,提示詞前綴快取失效會令 AI 編碼智能體在長工作階段重新處理大量提示詞。
Einsia AI 旗下 Navers Lab 發佈長程視覺推理基準 Visual Cipher Bench,8 個前沿模型中 GPT-6 Astra(max)的最佳配置準確率為 26.7%。
清華與香港中文大學團隊提出快取工程,並開源 AKV,讓智能體直接管理 KV cache。在 3 個模型、4 個智能體任務的評測中,AKV 相比 Standard 平均推理成本降低 27.7%、平均成功率提高 1.7 個百分點;相比 Text Engineering,平均成本降低 21.9%。
AI4S正進入科研流程並吸引資本,但目前主要處於輔助和指導科研階段,距離AI獨立完成科學發現仍有差距。受訪者將發展分為輔助科研、指導科研和自主科研,並指出提出研究問題、設計方案、實驗驗證及取得高質素數據仍是主要難點。今年前10個月,國內AI4S賽道有超過80筆融資,已披露融資總額超過200億元;文章亦梳理醫藥、材料等行業的應用和商業化路徑。
AMD 表示,Instinct MI455X 執行 DeepSeek-R1 時,在 MLPerf 離線 AI 推理基準測試中達到每 GPU 每秒 21,333 tokens,較 Nvidia Vera Rubin NVL72 高 30%。
阿里雲計算型 c8i 實例採用 CIPU 架構及第四代 Intel 至強處理器,單核性能較第七代提升35%,AI推理速度提升2倍,ESSD PL3 隨機讀寫 IOPS 最高達100萬+。實例採用1:2的CPU與記憶體配比,適用於AI推理、影片編碼、遊戲前端及科學計算等場景。新用戶購買1年期並疊加7.5折優惠券後,2核4G、1M帶寬配置為1183.28元/年。
阿里雲開發者社區文章介紹 Qwen4-Max 的定位、架構、能力與適用場景,並稱該模型已在阿里雲百煉提供 API 服務。文章稱模型採用 Qwen4 稀疏架構,總參數量為 2.4T,單次推理僅啟用 71B 參數,並支援 1M Token 上下文及 Live Delivery 漸進式交付。
Florian Lutz 在 NVIDIA vGPU 上調校 vLLM v0.28.0,令 Qwen3.8-27B-NVFP4 在半張 A100(40 GB vGPU)上支援 250k token 上下文。
阿里雲研發的 PVPO 技術入選 ACL 2026,旨在提升智能體後訓練的穩定性與樣本效率。Qwen2.5-7B-Instruct 經 PVPO 訓練後,在四個多步檢索基準的平均準確率達 62.5%,高於 GPT-4.1 的 46.2% 及 Gemini-2.5-pro 的 60.2%。訓練成本僅為 GRPO 的 40%,訓練數據平均減少 50%,速度提升 1.7–2.5 倍。
市場監管總局(國家標準委)批准發布《智能計算集羣效能指標與測試方法》國家標準化指導性技術文件,首次建立面向大模型訓練與推理場景的智能計算集羣效能指標體系和統一測試方法。文件由全國智能計算標準化工作組歸口,為我國智能算力基礎設施的規劃建設與高效運行提供支撐。
華為雲 MaaS 今日正式上線開源盤古模型 openPangu-2.1-Pro,升級 Agent 開發、AI 編碼及推理優化,並加強鴻蒙系統操控等能力。模型以 10 萬餘條專項數據優化技能觸發、工具選擇和調用,亦針對 ArkTS 任務及昇騰算子生成進行優化。模型已接入華為雲智果 AgentArts、碼道 CodeArts 和果辦 OfficeAce,並提供預置模型 API。
DominoBench 是一項以靜態圖像評估多模態模型多步驟物理推理能力的基準;研究測試 10 個系列的 30 個模型,發現沒有模型能在未獲提示時可靠預測結果。
理想汽車CTO謝炎在台積電2026年中國OIP生態系統論壇發表《高效AI推理系統的設計思考與實踐》,演講主角是理想自研芯片馬赫M100。李想稱理想是首家受邀登上該講台的中國大陸企業;馬赫M100採用車規級5nm工藝,單顆算力1280TOPS、算力利用率82%,其架構論文今年獲ISCA Industry Track錄用。
開發者 Leonardo Alegria 發佈開源項目 Garlic LLM,讓越獄版 PlayStation 4 可離線運行經量化的 Qwen3.5-9B 大語言模型。
LG AI Research 在 ICML 2026 發表研究,提出 LASE,以自適應辯論提升多智能體推理效率。研究指出,有正確訊息種子時,辯論可放大正確訊號;對稱交流則未必提升預期準確率。LASE 先由 Leader Agent 獨自解題,只在有需要時啟動多智能體推理。
開源項目 Garlic LLM 讓越獄版 PlayStation 4 離線運行 9B 參數本地大語言模型,最高生成速度達每秒 43 個 Token。
開源項目 Garlic LLM 讓越獄版 PlayStation 4 離線執行 9B 參數本地大語言模型,程式碼生成速度最高每秒 43 個 token。項目以千問(Qwen3.5-9B)為基礎,將模型權重壓縮為 3 位或 4 位量化格式,連同加速資料控制在約 4.5 GiB;普通文字生成速度約每秒 31 至 39 個 token。