阿里 Qwen3.8 全系列開源,涵蓋 2.4T 旗艦模型
阿里通義千問推出並開源 Qwen3.8 全系列,包含 2.4T 旗艦版、27B 輕量版,以及每次推理激活 6B 參數的 Flash 版。系列採用 Dynamic MoE、CoT++ 和原生多模態架構,並以 Apache 2.0 協議開放,可供商業使用。
阿里通義千問推出並開源 Qwen3.8 全系列,包含 2.4T 旗艦版、27B 輕量版,以及每次推理激活 6B 參數的 Flash 版。系列採用 Dynamic MoE、CoT++ 和原生多模態架構,並以 Apache 2.0 協議開放,可供商業使用。
作者以 Gemma 4 在 Google Cloud TPU v5e 和 v6e 上的實測,分析精度、記憶體頻寬、切片配置及容量供應,並與 NVIDIA L4 等加速器比較。
Abhishek Nandy 打造 FieldTrip,一個以本機 Gemma 選擇向量微積分實驗、再由程式計算並呈現結果的互動實驗室。FieldTrip 提供五種起始場景、參數比較及可重播設定,並設有人工確認步驟,讓用戶檢視 Gemma 選出的實驗。作者以 24 條自建問題測試 Gemma 4 E2B,模型在 15 條支援請求中全部選對場景,但只正確拒絕 9 條範圍外請求中的 1 條。
文章指出,聊天機械人回應提示詞,智能體則會跨多個步驟執行目標、觀察結果並決定下一步。在 500 項 SWE-bench 編碼任務中,智能體編碼約消耗單輪推理任務 3,500 倍 token,每項成本為 $1.857,對比 $0.016。TheAgentCompany 的 175 項長時程職場任務中,表現最佳的前沿智能體只完成 30.3%,每項成本為 $4.20。
Nanbeige LLM Lab 已在 Hugging Face 以 Apache 2.0 授權發佈 Nanbeige4.3-33B,這是一款面向智能體編碼及辦公協作任務的 33B dense 語言模型,支援 524,288-token 上下文窗口。
OpenAI 於 10 月 22 日正式開放 Decisions API,讓智能體以 predicate、choice 或 score 三種結構化結果處理有限答案的判斷,而非生成長篇文字。
PhysEvolve以物理引擎驗證模型生成的可執行世界及反事實模擬,訓練視覺語言模型進行因果物理推理,無需人類介入數據。以 Qwen3-VL-8B-Instruct 起步,PhysBench Throwing 提升 8.8 分,ContPhy Counterfactual Removal 和 Goal-Pit 分別提升 7.4 和 24.4 分。
GeoUG 結合深度圖與多視角生成,並在推理時自適應地生成幾何證據,以提升空間推理能力。在 CV-Bench-3D、3DCueBench 和 DA-2K 上,其準確率分別為 97.9%、90.8% 和 94.2%。相比每次都生成幾何證據,GeoUG 使用的生成呼叫次數更少。
SPOT 透過預測 token 生成順序並並行驗證候選項,加速擴散語言模型的精確解碼。這個 0.62M 參數模型在 SDAR-8B 上最多減少 6.8 倍目標模型通過次數,吞吐量最高達標準解碼的 3.4 倍;SPOT-Sets 在動態閾值解碼上平均提升 SDAR-8B 吞吐量 59%。
研究發現,Outcome RL 在固定 token 預算下提升 pass@1,主要靠提高答案完成率和作答可靠性,而非新增解題知識。研究比較 20 個已發布 RL 模型(1.5B 至 32B)及其基礎思考模型;Outcome RL 未提升大 k 下的 pass@k,四組物理及數學題的 Reach 增益最多為 2.1 個百分點。
Fin-SD 透過學生模型自行撰寫錯誤評論,並以截斷至錯誤前的正確推理前綴進行按策略自蒸餾,改善多步金融推理,無須外部教師模型提供梯度。在 FinanceReasoning Hard 子集上,Fin-SD 比基礎模型準確率高 3.03 個百分點;以完整參考解答進行按策略自蒸餾時,準確率相若,但生成的 tokens 少 9.5%。使用 GPT-OSS-120B 撰寫提示,效益亦未見明顯高於自行撰寫。
研究提出可見狀態監督(ViSS)與測試時因果視角搜尋(TVS),分別改善串流動作識別的表徵學習和證據選擇。ViSS 特別提升幻覺檢測和因果推理,TVS 則有助事件回憶和前向推理。兩者結合後,在 StreamingBench 和 OVO-Bench 上達到所比較已發表系統中的最高報告準確率,處理的影格數僅為窮盡式選擇的一小部分。
DTCA 透過衡量 token 提交後其餘遮罩位置的預測信心改善,估算 token 貢獻,並按詞性分類訊號,為擴散語言模型的強化學習進行 token 級信用分配。DTCA 亦按策略更新引起的 token 級熵變化校準學習訊號;在 LLaDA-8B-Instruct 上,MATH500 分數最高提升 9.0 分,GSM8K 最高提升 5.3 分。
Stanford 與 UC Berkeley 研究人員發佈 TokenGate,利用學習式 token 剪枝加快長上下文 LLM 預填充,研究團隊報告 TTFT 加快 1.4x 至 11.3x、峯值預填充記憶體減少 1.5x 至 3.4x。
DeepSeek 公佈的 DeepInfer 數據稱,單一集羣服務吞吐量為 155 萬億 Tokens/天,按低谷價格計,每張顯卡每小時收入 38 美元。文章據此估算,1GW 算力年收入為 1,500 億美元,計入冗餘後仍有 1,000 億美元;若美國每年建設的 50GW 以上算力中一半用於推理,收入可達 2.5 萬億美元,按美國 AI 公司收費標準則可達 10 萬億美元。
作者發現,使用受限解碼時,JSON Schema 欄位順序會決定 vLLM 分類器生成欄位的先後;若 category 排在 reasoning 前,模型便會先輸出標籤,再生成推理內容。
文章以 Llama-2-7B 規格説明,LLM 伺服器可同時處理的序列數主要受 KV cache 而非模型權重限制。fp16 權重佔 13.5 GB 的 7B 模型在 80 GB GPU 上,以 4,096-token 上下文計算約可容納 30 條序列,尚未計入激活值及執行時緩衝區;單條序列的 cache 約佔 2.1 GB。
陶哲軒與鄧煜在對談中討論 AI 對數學研究的影響,指出評價不應只看問題是否解出,還涉及證明理解、成果歸屬與思想來源追溯。陶哲軒表示,Open Math OS 現階段尚未有自研模型,先以現有開源模型搭建模型操作系統,並整合工具供數學界協作,團隊希望數月後推出自有模型。鄧煜認為,AI 適合處理研究者已掌握路線的複雜推導,提問、規劃及獨立研究能力仍然重要。
文章認為,所謂 AI 短劇及影片生成佔國內 Token 消耗 55% 的説法難以準確核算,Token 消耗比例也不能直接換算成算力佔比。基礎設施日誌通常無法判斷推理結果實際用於短劇、廣告或其他用途,算力容量、GPU-hours 使用量與 FLOPs 計算工作量亦是不同概念。
這套 OPPO Reno15 端側部署方案以 MNN 運行三款 Qwen 模型,分工處理寫作、思辨及技術任務。方案基於驍龍 8+、16GB+512GB,使用 Qwen3.5-2B-MNN、Qwen2.5-1.5B-Instruct-MNN 和 Qwen2.5-Coder-1.5B-Instruct-MNN。
VentureBeat Intelligence 三輪調查顯示,79% 受訪企業表示其 GPU 算力至少一半時間完全閒置;在 GPU 平均利用率不超過 50% 的企業中,70% 仍計劃於未來 12 個月引入、擴充或更換 AI 計算平台。
OpenAI於2026年10月以違反敏感資訊管理規定為由,解僱托梅克·科爾巴克、米基塔·巴萊斯尼和王茉莉;三人否認洩密,並稱解僱與他們長期倡議提高 AI 推理過程透明度有關。
三名被 OpenAI 解僱的安全研究員否認洩露機密,質疑解僱理由,並懷疑事件與他們倡議提升 AI 透明度有關。OpenAI 表示,內部調查認定三人違反敏感資訊管理規定,並稱解僱與他們提出的安全顧慮無關。爭議亦涉及外部人員能否核查推理型模型的思維鏈;三人擔心事件會令獨立安全審計人員不願與 AI 企業合作。
DeepSeek在10月20日開源推理框架DeepInfer時披露,按API非繁忙時段價格折算,平均每GPU小時對應38美元的理論計費收入。這項估算以單個集羣每日處理155萬億Token為基礎;DeepInfer目前主要面向DeepSeek-V4.1 Flash,部分生產系統組件亦未完整開源。文章指出,這個數字不代表實際盈利,付費利用率、推理支出、GPU折舊及融資成本等都會影響最終回報。
亞馬遜 CEO 安迪·賈西(Andy Jassy)於 10 月 23 日表示,受 AI 基礎設施需求推動,AWS 雲端運算容量至 2027 年基本售罄,並有大量長期算力訂單鎖定至 2028 年。報道指,AWS 2026 年產能已售罄,2027 年大部分容量已被預訂;模型訓練和推理需求增長,令雲服務供應商面臨持續的基礎設施壓力。
inclusionAI 發佈 Ling-3.1-flash-base 基礎模型檢查點,總參數量為 560B,每個 token 啟用 25B 參數。它採用與 Ling-3.1-flash 相同的混合線性 MoE 架構,結合 KDA 和 Gated MLA,並在 47 項基準、八個領域進行評測。檢查點以 BF16 權重發佈,模型以 FP8 訓練,適用於持續預訓練、領域適配及後訓練研究。
亞馬遜 CEO 安迪・賈西表示,AWS 2027 年算力容量基本售罄,2028 年亦有相當一部分容量已提前鎖定。AI 實驗室和企業客戶對算力的需求持續上升,亞馬遜一直努力跟上。亞馬遜今年早些時候公佈 2026 年資本開支計劃約 2,200 億美元;賈西稱,2026 年雲算力已訂滿,公司仍可加大投入。
開源項目 GPU Unlock 解除 GeForce RTX 30 系列安培顯示卡部分張量核心指令發射速率限制,在特定 AI 負載下提升計算吞吐量,實測增幅最高接近 60%。
DeepSeek 的 DeepInfer 支援在 NVIDIA SM100 GPU 或 Huawei Ascend 950 NPU 上對 DeepSeek-V4.1-Flash 執行離線推理;本文整理建置、確定性輸出及 JSON Schema 約束輸出的流程。
月之暗面發佈 Kimi K3.1 Pro 後,部分訂閲用戶抱怨額度不足,文章由此分析模型規模擴大及 Agent 任務增長帶來的算力需求壓力。K3.1 Pro 的 API 每百萬 Token 輸入及輸出價格,分別由 K3 的20元及100元降至13元及68元;一名開發者的測試顯示,舊套餐折算的 API 價值約為新套餐的1.94倍,但不能代表所有用戶的實際額度變化。
研究顯示,簡單智能體循環配合高效 Lean 4 回饋,無須預設分解或搜尋流程,也能在多個形式化定理證明基準取得領先成績。
這項研究比較 LLM 智能體在不同推理力度下的成本與表現,發現提高力度雖可提升整體準確率,卻常在低力度已能解決的任務上失敗。研究涵蓋四項基準;在每種力度都能解決的簡單任務中,最高力度成本最高可達最低力度的 42x。
文章整理《AI Agents: The Definitive Guide》第二章介紹的 AI Agent 架構與模式,涵蓋 CoT、ToT、交接、ReAct、人類參與工作流程,以及監督式、階層式和羣組式多智能體系統。內容亦説明如何運用 LangGraph 的節點、邊、共享狀態及相關方法建構這些工作流程。
GPU-unlock 1.0.0 以 Linux 核心模組,令 NVIDIA GA102、GA103、GA104 和 GA106 顯卡的 FP/BF16 FMA 至 FP32 指令發射速度加倍。
vLLM 團隊在一個 NVIDIA GB300 NVL72 機架上,以 P/D disaggregation 和 Wide-EP 服務 DeepSeek-V4.1-Flash,在 SemiAnalysis AgentX 達到每 GPU 954K tokens/s,為首篇文章中單節點結果的 7.9×。
兩項預先註冊的可重現普查顯示,MultiNLI 金標籤的一致程度因文本類型而異,政府文本的一致率最低(53.4%),書信最高(65.3%)。另一項 ChaosNLI 審計發現,3,113 個抽樣例子中有 311 個即使經過 100 次標註仍沒有嚴格多數。這些結果衡量的是標註者一致度,而非標籤正確性。
DeepSeek 關聯團隊提出 Engram,以可擴展查表模組為 Transformer 加入靜態記憶,在 27B 參數規模下,於作者報告的所有基準測試中勝過參數量及 FLOPs 相同的 MoE 基線。
報告分析原生 NVFP4 強化學習在訓練後期不穩定的原因,並提出 TRIAGE 更新方法和 miniTE 數值執行框架。在 8×B300 上,miniTE 採用 BF16 backward 的完整學習器更新速度約為 BF16 的 1.33–1.37×;另一項固定輸出服務測試的吞吐量約為 BF16 的 1.64×。
中國信通院聯合相關機構發布《大模型詞元服務性能監測報告(2026年)》,稱2026年6月國內模型 token 日均消耗量約500萬億,為2025年12月的近4倍。報告分析2026年1至8月的監測數據,8月國內模型平均TPS為78.23個/秒,低於國外典型模型的112.82個/秒。同一模型在不同平台的TPS差距最大可接近一倍,國內歸一化均價則由2025年下半年的6.8元升至今年以來的13.46元。
中國信通院聯合相關機構發布《大模型 Token 服務性能監測報告(2026 年)》,指出 2026 年 6 月國內 Token 日均消耗量約 500 萬億,為 2025 年 12 月近 4 倍。