阿里雲 Qwen3.8-Flash 技術詳解:混合稀疏注意力、百萬級上下文與 API 接入實戰指南
Qwen3.8-Flash 採用 MoE 架構及 GDN+QSA 混合稀疏注意力,原生支援百萬 token 上下文;在百萬上下文場景下,文件預填充速度提升 7 倍以上。模型兼容 OpenAI 與 Anthropic API 協議,並提供雲端 API 呼叫及開源權重本地部署方案。
Qwen3.8-Flash 採用 MoE 架構及 GDN+QSA 混合稀疏注意力,原生支援百萬 token 上下文;在百萬上下文場景下,文件預填充速度提升 7 倍以上。模型兼容 OpenAI 與 Anthropic API 協議,並提供雲端 API 呼叫及開源權重本地部署方案。
Yucong Chen 拆解兩類模型輸出故障:DeepSeek V4 的 DSML 標記可能因解析器不識別而以普通文字流向用戶,vLLM 的結構化輸出文法則可能拒絕 `<tool_call>`,令非串流請求返回 HTTP 500。
AI 在數學解題、證明及數學發現方面的能力迅速提升,正衝擊傳統研究模式與數學家的職業價值。鄧煜批評模型公司訓練時利用人類知識,卻以防止蒸餾為由不公開思維鏈,並引出研究透明度、成果歸屬及學術評價的爭議。受訪數學家認為,基礎數學教育仍有助培養嚴謹論證與獨立判斷,數學家的價值或更多轉向解釋、理解與表達數學結果。
研究團隊提出多模態概念透鏡 MC-Lens,分析視覺語言模型如何讀取概念、選擇性存取資訊,並將其用於後續計算與推理。實驗顯示,可靠的選擇性存取比概念可讀性較晚形成;不同模型家族和規模的模型則呈現共同的概念可讀性、依查詢而變的選擇性,以及跨任務介入效應。
NeurauTech 依 2026 年 11 月 20 日查閲的官方價目,比較 10 家雲端 GPU 供應商的價格、VRAM、計費方式及使用情境成本。單卡 H100 80 Go 的時租在 OVHcloud 為 2,80 € HT、Scaleway 為 2,8665 € HT,AWS 法蘭克福則為 8,60 $。
2026年第三季度,全球 PC 出貨量按年下跌 20.1% 至 6270 萬台,但聯想、Apple、Dell 等頭部廠商業績仍有增長,文章將利潤支撐歸於 AI 伺服器和高端 AI PC。
這份指南梳理阿里雲老用戶選購輕量應用伺服器、ECS、GPU 雲伺服器及百煉大模型服務平台時的優惠資格、計費規則和下單限制。內容建議先確認帳號及產品的新客身份,再核對計費模式、庫存、續費口徑與結算價格,並按各服務特性選擇規格及預算。百煉部分分為免費額度、Token Plan 訂閲及按量計費三層;Standard 及以上方案附送的 Harness 包含 12 項不消耗 Credits 的能力。
文章整理 14 道 LLM 推理優化面試題與解答,涵蓋效能衡量、延遲與吞吐量取捨,以及模型伺服器的調校和擴展。內容介紹如何以 TTFT、TPOT、ITL 和 goodput 評估服務,並用 vLLM 基準測試找出符合延遲百分位目標的持續負載。
微軟推出基於 USB4 的遠端直接記憶體存取(RDMA)開發者預覽體驗,讓多台 Windows 11 電腦協同運行 AI 模型。符合要求的電腦以 USB4 連接後,可透過相容的推理框架共同調用各自的記憶體和 GPU 算力,無需另購專用 RDMA 網卡或配置交換器;小批量傳輸的往返延遲約為 28 至 50 微秒,約為同一 USB4 連線上傳統乙太網 UDP 方式的四分之一。
阿里平頭哥的新一代訓推一體AI晶片真武V900將於明年一季度量產並開始銷售,算力達上一代真武M890的3倍。晶片配備216GB顯存、1200GB/s片間互聯帶寬,並原生支援FP8及FP4低精度計算。搭載真武V900的新一代阿里雲AI超節點,單一集羣最高可擴展至50萬卡。
Soket AI 獲 Bajaj Finserv 旗下 Finserv Intelligence 約 $2 million 投資,Pennant Technologies 同輪再投資 $2 million,並推出 EKA-1。這款 26-billion-parameter 基礎模型隸屬 Project EKA,聚焦數學、程式碼及推理,目標支援超過 100 種語言。
前 DeepSeek 研究員 Tony Zhang 公佈個人 Agent Linger,並開源這套在個人電腦運行的系統。其 Another Me Agent 可在本地整理收件箱、日曆、聊天記錄和會議資訊,生成供 Agent 查詢的個人 Wiki,並按用戶反饋學習提醒偏好。
MiniMax 研究團隊使用 MiniMax Cyber 對現代密碼方案進行自動密碼分析,找出多項結構缺陷並把理論攻擊轉化為實際攻擊。研究涵蓋 NIST 候選方案、同行評審設計及公開密碼挑戰;在公開挑戰中,Cyber 解出數十個未解實例,較既有最佳求解器快數百至數萬倍。研究聚焦學術設計、過往競賽候選方案及公開挑戰參數,不影響已部署的密碼標準;相關發現已預先告知方案作者。
推薦理由:文章以可執行攻擊及公開挑戰求解結果呈現 MiniMax Cyber 在多類密碼方案中的密碼分析成果,並提供與既有紀錄的用時及速度比較。
報道指英偉達正與 AI 初創公司 Inception 深入洽談收購,交易估值至少逾 5 億美元,並可能附有與業績掛鈎的額外獎勵。Inception 於 2025 年 2 月發布的 Mercury 採用擴散式架構並行生成 token;公司稱其吞吐量較傳統模型高 5 至 7 倍,每項任務成本最高可降低 70%。
據報道,英偉達正與 AI 初創公司 Inception 深入洽談收購,交易估值至少 5 億美元,並可能附帶與業績掛鈎的額外獎勵。Inception 稱其 Mercury 採用並行生成,首字延遲可低於 300 毫秒、吞吐量較傳統模型高 5 至 7 倍,每項任務成本最高可降低 70%。由於談判尚未敲定,交易價格、交割時間及 Mercury 等產品未來是否獨立營運仍存在不確定性。
InferenceKey 在一張 RTX 4090 上透過 vLLM 比較 Qwen3.5-0.8B 權重編輯版與基礎版的 50 題 MATH-500 結果,正確率分別為 62% 和 8%。
VLA 的控制帶寬上限受整條鏈路的絕對延遲限制,提高推理頻率只能減少半個控制週期的滯後。在 150 毫秒鏈路、5 赫茲控制下,等效滯後為 250 毫秒,2 赫茲處的相位滯後為 180 度;鏈路降至 97 毫秒並以 10 赫茲控制後,等效滯後為 147 毫秒,2 赫茲處的相位滯後降至 106 度。
文章比較六家 MCU 廠商在 NPU、向量單元與片上資源配置上的取捨,帶 NPU 型號的算力由 2.56 至 600 GOPS 不等。方案包括採用 Arm IP、自研加速器,或不配置 NPU 而側重定時器和模擬周邊;選型需按工作負載及工具鏈考量。模型若無法放進片內 SRAM,頻繁讀取 Flash 會削弱 NPU 的能效優勢。
文章比較 SGLang 與 vLLM 的共通功能及前綴快取差異,並列出公平比較兩者的基準測試方法。vLLM 以每 16 個 token 為一頁的標籤鏈重用前綴,SGLang 則透過 radix tree 尋找最長匹配分支。文中實測數據均來自 vLLM 0.33 在租用 RTX 4090 上的測試,作者尚未測試 SGLang,沒有對其速度作出判斷。
WeMM-Video 論文提出一系列中英雙語全模態基礎模型,涵蓋 2B、4B、9B 及 35B-A3B,整合文字、圖像、音訊和影片處理,並支援快速回應及逐步推理模式。
論文提出 TuringSpace,一個包含 125 個互動式 CAPTCHA 的合成網頁環境,透過點擊和拖曳測試多模態模型的五種空間能力。人類成功率為 94.1%,表現最佳的模型 GPT-6 Astra 仍有 25.9% 的任務失敗;最佳開放權重模型 Kimi K3 則有 68.0% 失敗。
Kimi-K3 定位為面向長程編程、知識工作及推理的旗艦模型,最大輸入和輸出均為 1,048,576 Token,並已上架阿里雲百煉。它採用 KDA 混合線性注意力與注意力殘差,支援原生視覺理解,但只有思考模式。華北2(北京)/全球的輸入、輸出及快取命中價格分別為 20、100、2 元/百萬 Token,且沒有免費額度。
測試顯示,Qwen2.5-1.5B-Instruct 採用摘要優先方式,每 24 項任務答對 16 項,略低於截短文本的 17 項,並耗用其 2.6 倍 tokens;完整文本則答對 9 項。摘要沒有消除模型對 issue 412 的偏執,截短文本以較低成本取得相近準確度,因此作者建議維持截短文本為預設做法。
Basalt 的操作導覽解釋其 776 tok/s 表現,以及為何需要獨佔一張 GPU:整個 KV cache 鎖定於單張 GPU 的 VRAM,不會分片至其他 GPU。
文章全面解析 Qwen3.8-2.4T-A95B 開源權重的模型定位、架構、能力表現、適用場景、部署成本與許可限制。該版本為純文字、全思考模式,原生上下文為 262,144 Token;BF16 權重約 4.89 TB,定位為多機多卡部署的可改造底座。文章亦比較其與 API 版在視覺輸入、非思考模式及內置工具上的差異,並説明 Qwen3.8-Max License 的商用門檻。
開發者 Devon Bray 用 3 張退役的 NVIDIA Tesla V100 搭建本地 AI 主機,運行 Qwen 3.6 35B 時在 128K 上下文下達到 72.7 tokens/s,高於 M5 Max 的 61.3 tokens/s。
阿里雲 Qwen3.8-Max 定位為面向複雜任務和智能體開發的旗艦基座模型,提供按量 API 及 Token Plan 訂閲兩種使用方式。模型採用 2.4萬億參數 MoE 架構,支援百萬 Token 上下文及文字、圖片和影片輸入,並面向編碼、文件處理和工具編排等場景。
英偉達 2027 財年第三季度營收達 1158 億美元、淨利潤達 653 億美元,淨利潤率為 56.4%,營收和淨利潤均按年增長逾一倍並創新高。超大規模數據中心部門營收為 601.4 億美元,AI 雲-工業-企業數據中心部門為 474.7 億美元;雲行業待交付訂單總額達 2.5 萬億美元。
推薦理由:文章拆分英偉達數據中心業務的客戶與收入來源,並對照季度業績及上調後的年度指引,呈現增長組成與供應限制。
快科技在 NVIDIA 上海實驗室參與 RTX Spark 媒體分享會,介紹這款面向本地智能體的 Windows PC 及其實機演示。
Google DeepMind 的 AlphaProof 與 AlphaGeometry 2 在 IMO 2024 解出六題中的四題,合共取得 28 分,達到銀牌水平。
ARC-AGI 是 François Chollet 於 2019 年開發的基準測試,用來評估 AI 在未經特定訓練下,能否適應陌生情境並進行抽象推理。測試以網格謎題考驗 AI 推斷規則,並將所學應用於新問題的能力。OpenAI 的 o3 在 ARC-AGI 取得 85% 分數,高於此前最佳的 55.5%,達到人類水平表現。
AI 研究者主張,AI 下一步的擴展不應只靠增加訓練數據,而要建立能模擬現實的世界模型。JEPA 透過預測抽象表徵,學習世界結構而非表面細節;Sora 等影片生成模型則展現了從預測轉向模擬的早期跡象。未來成效將取決於模擬保真度及預測環境未來狀態的能力。
MaaS(模型即服務)隨 Token 調用需求快速增長,雲廠商、模型公司與獨立服務商正競逐按量計費的 AI 服務市場。IDC 數據顯示,2026H1 MaaS 市場規模達 106.3 億元人民幣,同比增長 889.4%;全市場 Token 消耗量達 2,857.9 萬億,同比增長約 432.5%。
Magnus 比較 Gemini 4 Argon、Carbon、Hydrogen 和 Neon 的公開評測,分析推理、編碼、多模態任務及每項通過驗收結果的成本。
測試時訓練(TTT)透過在推理期間更新模型的快速權重,讓模型從當前讀取的上下文中即時學習,而非只把資訊壓縮成固定狀態或存入 KV cache。TTT 層以自監督重建任務產生梯度訊號,Titans 則按驚訝度決定記憶更新優先次序。Nested Learning 將凍結的慢速外層權重與可快速適應局部上下文的快速內層權重分開。
Gemini 4 Neon API 遷移指南列出定價,並整理從 Gemini 3.x 遷移時的設定變化。每百萬輸入 token 收費 $3.00,每百萬輸出 token 收費 $15.00,思考 token 按輸出價格計費;文中的單次呼叫案例使用快取需 $0.4725,不使用快取則需 $0.9000。
文章整理阿里雲千問大模型降低使用成本的四步做法:先領優惠券、用足免費額度、選用 Token Plan,再把高負載任務安排在夜間。文中列出新用戶可領超 7,000 萬 Tokens、企業認證用戶累計可領 1 億以上 Tokens,Token Plan 個人版由 39 元/月起,部分模型夜間折扣低至 2 折。
阿里雲 Qwen4-Max 指南整理預覽版的核心功能、適用場景及 Token Plan 收費,並介紹免費額度和訂閲折扣。預覽版支援 1M Token 上下文窗口及文本、圖片、影片輸入,面向複雜編程和長鏈路智能體任務。
文章整理五種開發工作流,涵蓋 Rust Anything 漸進式重寫、Inference Optimisation Skill 調校本地大語言模型、Lovable 應用的授權測試、PeakCut 自託管影片剪輯,以及 Blender AI MCP Add-on。
Amazon SageMaker Inference 第二部分回顧 14 項 2026 年更新,涵蓋託管端點與 HyperPod Inference 的模型配置、GPU 利用率、多節點服務、路由及部署後監察。
推薦理由:文章按部署後的配置、GPU 利用率、多節點服務及跨區路由等問題梳理 14 項更新,並以假設的支援團隊案例説明各項功能所對應的運作情境。