跳到正文
11月18日週三
  1. NVIDIA Technical Blog:Agentic AI / Generative AI15

    NVIDIA 如何協同設計稀疏注意力,提升長上下文推理效率

    NVIDIA 探討如何協同設計稀疏注意力,以提升長上下文推理效率。隨着 Agent 工作負載、長文件和大型程式碼庫推動上下文長度由數萬個 token 增至數十萬個 token,注意力機製成為 Transformer 層中成本最高的部分;在 128K token 時,密集註意力可佔用大部分預填充時間。

  2. Pragmatic Engineer68

    軟件工程師的推理工程實務解析

    文章梳理軟件團隊如何由前沿 AI 實驗室的 API,轉用推理服務商託管的開放權重模型,並選擇相應部署方式。轉用的常見原因包括降低成本、加強延遲控制和微調模型;典型路徑是先用多租戶 API,再按需求遷至專用 GPU。文章亦分析 TTFT 延遲、KV cache、快取命中率、速率限制和 GPU 容量等工程考量。

11月17日週二
  1. DEV Community58

    為何延長思考有幫助:測試時計算與新的擴展維度

    測試時計算是在模型完成訓練後,透過多次抽樣、搜尋部分解答或反覆修訂,增加回答時的計算,以提高模型在可驗證任務上的答對機會。研究顯示,按問題難度分配計算的策略,效率比直接採用 best-of-N 抽樣高四倍以上;在容易及中等問題上,較小模型加上額外計算可勝過規模為其 14 倍的模型,但在最難問題上幾乎沒有改善。這種方法的效益受驗證器可靠程度、延遲和每次查詢成本限制,也不能取代預訓練帶來的能力。

  2. IEEE Spectrum52

    AI 推理需求推動光學計算產業再度升温

    AI 推理需求帶動光學計算重新受到業界關注,多間初創公司正探索以光學元件處理矩陣向量乘法,或把計算加入數據中心的網絡傳輸路徑。相關市場估值由 2022 年的 US $0.4 billion 增至 US $2.22 billion,業界公司以較現有 GPU 高 10 至 80 倍的能源效率為目標。文章指出,數據編碼、模數轉換及其他無法由光學處理的運算,仍會影響整體能源收益。

  3. 第一財經60

    中國日均 Token 調用量已突破500萬億

    國內日均 Token 調用量已突破500萬億,算力市場需求暴漲。2025年,鄭緯民院士團隊研發的模型推理系統 Mooncake 獲埃裏克・裏德爾最佳論文獎,其核心 PD 分離技術將讀入用戶問題和生成回答分由兩組算力處理。在相同硬件規模下,系統可多承接75%的用戶請求,長文本吞吐能力提升五倍以上。

  4. Unite.AI52

    2027 年 AI 算力展望:推理成本將重塑數據中心

    文章預測,2027 年數據中心算力競爭將更著重在客戶服務要求下可交付的有效容量,以及可接受答案的推理成本。四項預測包括在固定硬件與模型下,達到延遲目標的吞吐量至少提升 30%;按工作負載拆分 prefill 與 decode;替代加速器在特定服務中具成本優勢;以及智能體基準同時衡量系統能耗與成功完成的任務。

  5. DEV Community53

    GRPO 如何運作:數學原理、零 Critic 設計,以及推理模型為何不需要 PPO

    文章拆解 GRPO 的數學原理與訓練流程,説明它如何以同一提示詞下多個輸出的組內獎勵作為基線,取代 PPO 的 Critic 網絡。每個輸出的獎勵經標準化後,會作為該序列各 token 的優勢值,並配合裁剪目標及 KL 正則化更新策略。文章亦介紹以規則驗證器為數學和程式任務提供獎勵,並附 PyTorch 實作及組大小、格式獎勵和生成長度等實作陷阱。

  6. 創業邦53

    AI4S熱潮升温,距離「ChatGPT時刻」還有多遠?

    AI4S正進入科研流程並吸引資本,但目前主要處於輔助和指導科研階段,距離AI獨立完成科學發現仍有差距。受訪者將發展分為輔助科研、指導科研和自主科研,並指出提出研究問題、設計方案、實驗驗證及取得高質素數據仍是主要難點。今年前10個月,國內AI4S賽道有超過80筆融資,已披露融資總額超過200億元;文章亦梳理醫藥、材料等行業的應用和商業化路徑。

  7. 阿里雲開發者社區 AI24

    阿里雲計算型 c8i 實例表現如何?性能、適用場景、優惠價格及購買攻略

    阿里雲計算型 c8i 實例採用 CIPU 架構及第四代 Intel 至強處理器,單核性能較第七代提升35%,AI推理速度提升2倍,ESSD PL3 隨機讀寫 IOPS 最高達100萬+。實例採用1:2的CPU與記憶體配比,適用於AI推理、影片編碼、遊戲前端及科學計算等場景。新用戶購買1年期並疊加7.5折優惠券後,2核4G、1M帶寬配置為1183.28元/年。

  8. 阿里雲開發者社區 AI39

    阿里雲首創 PVPO 技術入選 ACL 2026

    阿里雲研發的 PVPO 技術入選 ACL 2026,旨在提升智能體後訓練的穩定性與樣本效率。Qwen2.5-7B-Instruct 經 PVPO 訓練後,在四個多步檢索基準的平均準確率達 62.5%,高於 GPT-4.1 的 46.2% 及 Gemini-2.5-pro 的 60.2%。訓練成本僅為 GRPO 的 40%,訓練數據平均減少 50%,速度提升 1.7–2.5 倍。

  9. 第一財經52

    《智能計算集羣效能指標與測試方法》國家標準化指導性技術文件獲批發布

    市場監管總局(國家標準委)批准發布《智能計算集羣效能指標與測試方法》國家標準化指導性技術文件,首次建立面向大模型訓練與推理場景的智能計算集羣效能指標體系和統一測試方法。文件由全國智能計算標準化工作組歸口,為我國智能算力基礎設施的規劃建設與高效運行提供支撐。

  10. 中華網科技47

    華為雲上線開源盤古模型 openPangu-2.1-Pro,強化鴻蒙系統操控能力

    華為雲 MaaS 今日正式上線開源盤古模型 openPangu-2.1-Pro,升級 Agent 開發、AI 編碼及推理優化,並加強鴻蒙系統操控等能力。模型以 10 萬餘條專項數據優化技能觸發、工具選擇和調用,亦針對 ArkTS 任務及昇騰算子生成進行優化。模型已接入華為雲智果 AgentArts、碼道 CodeArts 和果辦 OfficeAce,並提供預置模型 API。

  11. 新浪科技50

    李想稱理想汽車受邀台積電OIP論壇,CTO分享馬赫M100設計

    理想汽車CTO謝炎在台積電2026年中國OIP生態系統論壇發表《高效AI推理系統的設計思考與實踐》,演講主角是理想自研芯片馬赫M100。李想稱理想是首家受邀登上該講台的中國大陸企業;馬赫M100採用車規級5nm工藝,單顆算力1280TOPS、算力利用率82%,其架構論文今年獲ISCA Industry Track錄用。

  12. IT之家56

    Garlic LLM 讓越獄 PS4 執行 9B 參數本地 AI 模型,程式碼生成最高每秒 43 個 token

    開源項目 Garlic LLM 讓越獄版 PlayStation 4 離線執行 9B 參數本地大語言模型,程式碼生成速度最高每秒 43 個 token。項目以千問(Qwen3.5-9B)為基礎,將模型權重壓縮為 3 位或 4 位量化格式,連同加速資料控制在約 4.5 GiB;普通文字生成速度約每秒 31 至 39 個 token。