跳到正文
11月7日週六
  1. DEV Community63

    張量並行、流水線並行與數據並行如何擴展跨 GPU 的 LLM 推理

    張量並行、流水線並行與數據並行分別透過切分層內運算、跨階段分層和複製模型分配請求,應對 LLM 推理的單請求延遲、模型容量與服務吞吐量需求。部署時可先在單一節點內使用張量並行,必要時以流水線並行跨節點,再增加數據並行;所需 GPU 數量按 TP × PP × DP 相乘。

  2. HuggingFace Daily Papers(社區熱門論文)46

    MACaQ:面向低精度權重與激活值的快速、模型無關校準量化

    MACaQ 是一種 MXFP4 W4A4 後訓練量化方法,透過逐層獨立量化及 Hessian 感知修正,降低成本並保留語言與擴散模型的準確度。在 Qwen3-32B 上,透過 vLLM 推理的端到端額外開銷僅為 2.3%;在 Llama-3-8B 上,量化時間減少 11 倍,困惑度已達 DuQuant++ 和 MR-GPTQ 的最佳水平。

  3. HuggingFace Daily Papers(社區熱門論文)39

    用頻率感知重新遮罩擴散語言模型的測試時擴展

    研究提出兩階段測試時擴展方法,先以快速基礎採樣器處理簡單問題,再對較難問題採用頻率感知重新遮罩,以分配推理計算並探索不同推理路徑。在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上,MATH-500 準確率最高分別提升 3.73 和 7.33 個百分點,HumanEval 覆蓋率最高分別提升 11.39 和 10.98 個百分點。

  4. Data Center Knowledge50

    光學 AI 能否降低數據中心推理的耗電量?

    Lumai 正在 Scaling Inference Lab 部署 Iris Nova,測試光學運算能否降低數據中心 AI 推理的電力負擔。Iris Nova 以光學運算處理矩陣乘法,主攻推理的 prefill 階段,並以電子元件處理記憶體、控制及非線性功能。部署將用於驗證系統在商業數據中心環境中的表現,並收集數據以支援下一款產品的開發。

11月6日週五
  1. Unite.AI58

    AI 智能體的無效繞路會浪費 token 和金錢

    一項美國學術合作研究量化 AI 智能體工作流中的 token 浪費,發現約 18% 的輸出 token 屬浪費。研究指出,超過 45% 的任務中,一個智能體浪費的輸出 token 多於另一個成功完成相同任務所用的全部輸出;刪除 41–46% 的推理,在測試中對成功率影響有限。按模型及工具使用成本計,浪費比例介乎 11% 至 24.9%,而同一模型在不同智能體框架下的推理輸出可相差逾四倍。

  2. DEV Community61

    Ollama 純 CPU 伺服器模型選擇及 RAM 容量速查指南

    這份指南整理 Ollama 在純 CPU 伺服器上選擇模型的 RAM 估算方法,並列出 2 GB、4 GB、8 GB 和 16 GB 記憶體配置可考慮的模型。作者建議在預設上下文下,模型檔案大小控制在伺服器 RAM 約一半以內,並指出量化版本、上下文長度、並行請求和同時載入模型數量會影響額外記憶體用量。

  3. DoNews50

    英偉達推出 VFlash 並行解碼框架,機械人動作解碼最高提速 12 倍

    英偉達推出 VFlash 並行解碼框架,面向機械人及自動駕駛的視覺規劃,將軌跡、包圍框等幾何對象作為解碼單位。在 H100、batch size 為 1 的測試中,三維點運動預測速度最高提升 25 倍,機械人動作解碼提速 12 倍,端到端推理提速最高 5.1 倍,三維軌跡誤差最多降低 61%。

  4. Artificial Analysis 完整文章45

    VIALS-AA:科學圖像推理的不同路徑

    VIALS-AA 比較 19 個模型處理科學圖像推理時的工具使用方式,分析涵蓋 9,177 次執行軌跡。工具呼叫中,38.3% 用於查看圖像,47.3% 用於準備或測量圖像;圖像測量佔 GPT-6 Astra (max) 工具呼叫的 5–6%,Claude Opus 5.5 (max) 則為 25–27%。Gemini 4 Carbon (high) 在八個領域中有三個領域領先。

  5. 第一財經56

    流量生意之外,中國移動開始爭奪 Token 機會

    中國移動正將業務佈局由流量延伸至Token生產、調度和分發,並在2026移動網絡大會發布「智能網」。公司表示,未來兩年智算能力將連續翻番,並計劃在2027年實現終端銷售過億台。Token如何計價、推理成本由誰承擔及收益如何分配,仍未形成成熟商業模式。

  6. elsewhere:文章45

    奕斯偉計算登陸港股,多家量子計算、AI4S及腦機接口公司完成融資

    奕斯偉計算於10月9日在香港聯合交易所主板上市,文章亦盤點量子計算、AI4S、腦機接口等科技公司的融資及進展。新石器完成近4億美元E輪融資,太一量生累計融資超10億元,階梯醫療累計融資26億元並完成42例長期植入。月之暗面推出Kimi K3.1 Pro,具3萬億級參數及100萬上下文;至簡動力開源6B參數SimpleWAM,端側推理延遲低至42ms。

  7. 雷鋒網47

    舉辦33年的 ACM MM 重新劃定研究範圍

    ACM MM 將研究主題由過去五大主題、15個子方向改為16個平級主題,重新界定多媒體研究範圍。新設具身與沉浸式多媒體、多媒體推理兩個主題,並把「視覺與語言」調整為「多媒體與語言」。旨在反映多媒體研究向多模態推理、生成及現實環境互動拓展。

  8. DoNews54

    高通發布全球首個6G終端原型機,強調AI原生特性

    2026年11月5日,高通在上海進博會展示全球首個符合3GPP最新定義的6G終端原型機,並強調6G自設計之初便具備AI原生特性。高通CEO安蒙表示,AI將融入無線系統以實現信道預測和弱訊號下的穩健通訊,終端、邊緣與雲端的計算能力則支持協同推理。今年9月,高通已與中國移動完成U6G頻段基站與終端原型互通測試;行業目標是2029年啟動6G商用。

  9. IT之家51

    高通 CEO 安蒙稱 6G 將從設計之初具備 AI 原生特性,目標 2029 年商用

    高通總裁兼 CEO 安蒙表示,6G 將從設計之初具備 AI 原生特性,行業以 2029 年啟動商用為目標。AI 將融入無線通訊系統,計算與推理任務可分佈在基站、網絡邊緣及數據中心等節點執行。高通與中國移動今年 9 月完成 U6G 頻段基站原型與 6G 終端原型互通測試,安蒙稱這是 6G 由技術研究邁向系統驗證的重要一步。

  10. HuggingFace Daily Papers(社區熱門論文)47

    NPCBench:鼻咽癌多模態診療路徑推理的臨牀學徒制基準

    NPCBench評估醫療AI模型能否整合專科知識與多模態證據,並在鼻咽癌患者的縱向診療路徑中維持診斷及照護決策連貫。基準收錄4,777項題目,以及包含100名患者、417項評分任務的CarePath隊列。在21個多模態模型中,嚴格CarePath成功率最高為23%;單項任務表現出色,不代表同一患者的診斷及照護答案能同時正確。

  11. IT之家45

    webAI 開源 TwIL-8B 推理模型:專攻數學與程式設計,長板表現勝過 Gemma 4 31B

    webAI 開源 TwIL-8B 推理模型,基於 IBM Granite-4.2-8B,針對數學、程式碼及指令跟隨工作負載優化。它在 MATH-500、AIME 2025 和 LiveCodeBench 的同組比較中表現最佳,IFBench 成績則與 Gemma 4 12B 持平。模型以非商業授權開源,webAI 稱其長板推理能力達前沿模型的 88~93%,但知識儲備有限,並非通用模型。

  12. 新浪科技38

    AI賦能產業智變:海淀如何加快 AI 成果落地

    海淀的水木東方、銀河通用和趨境科技,分別以醫療裝備 CDMO 平台、具身智能大模型及推理服務,推動 AI 技術轉化為產業應用。水木東方的 CDMO 平台已為委託方降低研製成本60%以上,並將樣機迭代週期縮短一半以上;銀河通用稱其機械人可實現100%全自主思考與執行。銀河通用已在近50個城市部署約200家「銀河太空艙」,趨境科技則提供國產算力推理服務。

  13. 阿里雲開發者社區 AI64

    大模型 Tokenization 教學:BPE 合併、中文多語言成本與 152K 詞表取捨

    這篇大模型課程第 4 課以 6 個可手算例子,拆解 Tokenization、BPE 合併規則,以及中文 token 成本和詞表大小的取捨。文中估算中文文本較英文多用 54%–69% token;Qwen 151,851 詞表較 Llama 2 32,000 詞表多約 491M Embedding 參數,以更少中文 token 換取較短序列,推理加速 30–50% 亦屬估算。