Zyphra Inference Wave 2 展示 MI355X 上的 MoE 與長上下文推理優化
Zyphra 公佈 Zyphra Optimization Engine(ZOE)第二輪推理優化,面向 AMD Instinct MI355X 改進 MoE 與長上下文服務。
Zyphra 公佈 Zyphra Optimization Engine(ZOE)第二輪推理優化,面向 AMD Instinct MI355X 改進 MoE 與長上下文服務。
AI 程式 Darmok 在本月 Times 年度密碼填字比賽中,完成決賽題的速度比人類參賽者 Liam Hughes 快約三分鐘。Darmok 以 Gemini 3.1 Pro、Claude Fable 5、GPT-5 和 GPT-6 Astra 為基礎,主要由前兩個模型解題,必要時再加入另外兩個。開發者 Sid Chatterjee 認為,設計出令人滿意的密碼填字題將是 AI 面臨的更大挑戰。
Ethan Mollick 回顧《Co-Intelligence》出版後 30 個月的 AI 進展,指出模型能力、使用成本及人機協作方式均已改變。
Google 推出建基於 TorchTPU、可在 TPU 上原生執行 PyTorch 的 vLLM-TorchTPU 和 SGLang-TorchTPU 推理引擎。
Inception 已發佈擴散式大語言模型 Mercury 3,公司稱它在自家多項基準測試中勝過 OpenAI 的 GPT-6 Luna、Anthropic 的 Claude Haiku 5.5 及 Zhipu 的 GLM-5.3 Flash,速度快 4 至 8 倍。
與 Apex Fusion 合作的研究團隊在 4 張 RTX 3090 上,以 4-bit 精度的 Qwen3.8-27B 重現 MIT SwarmWorld 實驗的核心結果。
EME GUG 解釋 LLM 推理引擎如何透過 Continuous Batching、PagedAttention 和 Prefix Caching 提升速度,並示範以 vLLM 量度及調校。
作者構建面向低功耗自主部署的概率圖神經推理方案,以處理山火疏散物流網絡中的不確定路線風險。方案採用兩至三層訊息傳遞網絡和高斯訊息,並以矩匹配近似聚合。作者稱測試中路線風險排序幾乎完全保留,計算量減少一個數量級;量化時均值採用 int8,log-variance 採用 fp16 或 bf16。
Reuters報道,字節跳動、阿里巴巴和騰訊已訂購逾 3 million 張 Nvidia RTX PRO 5500 顯示卡,總標價超過 $35bn。消息人士稱,Nvidia未能保證供貨,並告知合作夥伴可能只交付所要求數量的 5% 至 10%;三家公司計劃主要將顯示卡用於推理。消息人士另稱,Nvidia 2027 年全球產量可能不超過 3 million 張;TNW表示未有獨立核實該報道。
MiniMax M3.1 Flash 未指定 reasoning_effort 時預設為 max,思考功能不能關閉;作者拆解相關 API 設定及成本影響。
llm-d 項目貢獻者於 2026 年 10 月 20 日在 PyTorch Conference North America 發佈 llm-d 1.0,這套 Kubernetes 原生分散式推理服務堆疊加入多租戶流量控制及零停機更新等生產運維能力。
doubleAI 的 Maxwell 會在程式運行時理解並改寫程式碼,按硬件與數據調整底層二進制,並形式化證明每項最佳化與原程式等價。在 LTX-2.5 的案例中,4K 影片生成速度提升 1.87×,每段影片在兩張 B200 上由 250s 降至 134s。
DeepSeek 進一步將內部推理框架 DeepInfer 全面開源。此外,螞蟻百靈開源 Ming-3.0 語音系列模型,上海團隊發布並開源記憶原生大模型 MemT-1.0。
ZedIoT 指出,ESP32-S3 適合運行小型 INT8 量化模型、有明確上限的輸入窗口及受控推理頻率的 TinyML 工作負載,但不適合大型模型、持續高幀率視覺或複雜多模型流程。
llm-d 項目發佈 1.0 版分散式 AI 推理框架,新增面向企業自建模型服務的多租戶、不中斷升級及 Agent 工作負載控制。框架建基於 Kubernetes,並支援將快取資訊在 GPU 記憶體、CPU 記憶體和儲存裝置之間移動。
PyTorch 2.15 為 Mac 的 MPS 後端加入 FP8 支援,並加快 LLM 解碼及多項 Metal 運算。在 M3 Ultra 使用 torch.compile 時,Qwen3.6-35B-A3B 的 MoE 解碼速度由 9.4 升至 61.3 tokens/s;Wan2.2 影片 VAE 解碼的峯值驅動程式記憶體由約 270 GiB 降至約 8 GiB。
推薦理由:文章列出 Mac MPS 上的模型解碼提速和 Wan2.2 影片 VAE 記憶體降幅,具體呈現 PyTorch 2.15 後端更新對本機推理工作負載的變化。
文章以 .NET 10、Microsoft.Extensions.AI 10.11 範例説明,使用 OpenAI Responses API 的推理模型時,加密推理內容可能在三個環節從聊天歷史中遺失。
文章標題提出投機解碼為何速度快,但所提供內容只有 Hacker News 頁面資訊,未包括文章對解碼原理的説明或相關數據。
DeepSeek 開源高效能推理框架 DeepInfer,提供離線推理及面向大規模服務所需的核心功能。它支援 DeepSeek-V4.1-Flash,並提供最佳化 kernels、非同步排程及結構化輸出,支援 NVIDIA SM100 GPUs 和 Huawei Ascend 950 NPUs。
Paul Piper 根據 Smart Inference 自 4 月起累積的約 11 million 個 GPU 價格點及 3.3 million 個 token 價格點指出,6 月至 10 月 GPU 價格上升,但大型開放模型的推理價格大幅下跌。
Metis Reasoning 由前 Google DeepMind 研究主管、AlphaGo 共同創作者 Thore Graepel 等人在倫敦啟動,主張以更具計算效率的路線發展 AI 推理。
IT之家上手測試聯想 YOGA Pro 15 RTX Spark,展示 RTX Spark N1X 在端側 AI、專業創作及遊戲中的實測表現。128GB 統一記憶體版本在 Comfy Desktop 以 FLUX.2 DEV NVFP4 Turbo 生成單張圖片需 16.6s,使用 LTX-2.5 NVFP4 生成 8 步 720P/120fps 影片片段需 71.15s。
Visual-Attribution Gating(VAG)以對比驗證篩選多模態 RLVR 的 on-policy 自我蒸餾(OPSD)更新,避免把無視覺依據的教師修正傳給學生模型。
Latent Space 的 AINews 彙整 10/16/2026–10/19/2026 的 AI 動態,涵蓋多款模型發佈、Agent 研究、推理基礎設施及行業與政策消息。
推測解碼讓小型草稿模型提出多個後續 token,再由大型目標模型一併核對,以加快生成並維持目標模型原本會產生的文字。核對時保留相符猜測,並以目標模型修正首個不符 token;草稿愈準確,每輪可接受的 token 愈多,節省的時間也愈多。
相關研究指,為混合語言模型調整強化學習獎勵可重新啟動其 THINK 推理模式,令推理軌跡平均縮短最多 65%,並大致維持答案準確度。在 9B 參數設定中,生成限制內完成率由 45.9% 升至 93.9%,平均軌跡長度由 2,494 降至 868 tokens。測試只涵蓋 Qwen3 系列與 StartLux-Decision 及各自的基準;準確度仍有輕微下降,能否延伸至其他架構或任務尚不清楚。
文章以 Mistral 的 Timestral、CERN 與 Mistral 擬建的 Flare,以及金融模型 Kronos 為例,指出垂直基礎模型正以小型、專用設計重組推理部署。
AdaExploreBench 評測 LLM 智能體在演變環境中主動探索隱藏規則及適應未預告變化的能力,發現現有智能體難以搜尋相關證據和識別過時知識。測試八款領先 LLM 時,GPT-6 Sol 的校準準確率為 61.9%;提供足夠證據或移除規則漂移,均可令平均表現顯著提升近 10%。
OpenVLHarness 將持續多模態記憶、異質工具介面和迭代證據組合用於多模態推理,在 22 項基準上較匹配的無工具基線提升 9.7–12.6 分。研究涵蓋八個開源及專有模型,包括 Qwen3-VL-8B(+11.2)、Kimi K3(+9.7)和 GPT-6 Astra(+9.9)。
研究團隊提出 AnyGoal 基準測試及開源程式庫,用以評估世界模型能否將熟悉的狀態與動作組合泛化至未見情境,以支援規劃。測試任務取自常用世界模型環境,個別狀態因素與動作均在訓練範圍內,但相關組合在專家軌跡中較少出現。多個環境和世界模型系列的結果顯示,現有模型在這類重新組合下持續失效。
作者比較四款名稱相近的 RTX 6000 顯示卡,並説明如何核實租用的是否為 96 GB RTX PRO 6000 Blackwell。96 GB GDDR7 是 Blackwell 的辨識要點;作者建議用 nvidia-smi 核對完整名稱、總記憶體和 compute capability,其值為 12.0。
北京存算協同晶片企業銘芯啟睿宣佈完成超過4億元A輪融資,並啟動第一代推理晶片LPU研發。資金主要用於 RRAM 產業化與商業化,以及 LPU 研發。前英國 AI 晶片公司 Graphcore 總裁兼大中華區總經理盧濤加入團隊,出任 CEO 及聯合創始人。
Anthropic 傳將於明日推出 Fable 5.5,測試者稱其推理、直覺判斷及理解用戶意圖的能力超越 Anthropic 目前在售的所有模型。Google 的 Gemini 4 Carbon 已在內部測試,OpenAI 新一代 Terra 則可能於未來幾周推出。
Preferred Networks(PFN)與 Tenstorrent 的光電融合 xPU 共同研究,獲 NEDO 研究開發項目採納。項目將研發兼顧訓練與推理效能及效率的生成式 AI 處理器系統,研究期至 2031 年度。
Darwin-27B-ZTC-v9 在 S1MB 英文版涵蓋 137 項基準的排行榜中取得 Borda 排名第一,評測包含 197 個模型。S1MB 逐項按基準排名後加總;該模型按任務平均分 72.20 排第二,兩種排序回答不同問題。ZTC 模型以單次前向傳播輸出選項概率而不生成文字,權重以 Apache-2.0 授權公開;文章指出,校準概率可用於設定自動判斷門檻。
AI 已證明準黎曼猜想;Sarnak 表示,只有人類核查並理解全部細節後,他才會接受它為定理。Hacker News 討論提到,7/8 結果已通過 Lean 驗證,專家則正查看尚未驗證的 11/12 論文,因為它篇幅較短,而且是唯一經人類編輯的版本。Quanta 引述稱,準黎曼猜想的證明將迅速確立數論、幾何及理論計算機科學中的多項數學結果。
文章比較 137 家供應商提供的 375 款模型 API 輸入價格,發現中位價差為 0.0%,但 42 款模型的價差超過 200%。其中 openai/gpt-oss-120b 在 13 家供應商的輸入價格介乎 $0.03/M 至 $0.8/M,價差為 2566.7%。文章指出,價差主要來自 GPU 時租託管與專門推理平台的不同定價模式;數據是價格快照,長上下文及不同量化版本亦可能影響比較。
中信建投建議關注企業級 AI 應用、算力服務及國產晶片和超節點,並指出國產模型能力、調用成本和工具配套改善。DeepSeek 更新 V4.1 Flash,DeepSWE 評分由 74.2% 升至 77.0%,API 價格不變,並開放搜尋與抓取介面;三方測評中,其 Pi 框架 high 檔位通過全部隱藏測試,平均每項任務費用為 0.045 美元。
Land the Lab 統計候選人回報的系統設計題目,發現 Anthropic 有 21/29 題(72%)涉及 AI 系統或 ML,OpenAI 則有 19/50 題(38%)。
Stanford、UIUC 與 Together AI 的研究提出 HybridAgent,讓 AI Agent 在單次生成中切換潛在向量推理與文字輸出。