MiniMax 發佈 M3.1 Flash,稱智能體成本降低 70%
MiniMax 發佈 M3.1 Flash,稱其智能體任務成本較前代降低 70%,推理速度接近 3 倍,日常高峯輸出超過 200 tokens/s。
MiniMax 發佈 M3.1 Flash,稱其智能體任務成本較前代降低 70%,推理速度接近 3 倍,日常高峯輸出超過 200 tokens/s。
作者在 ASUS ProArt P16 H7607BA-SE033W 上安裝並運行 Arch Linux ARM,測試 CPU 效能、記憶體配置及本機 Qwen 推理。
作者分享將 AI 推理由 OpenAI 遷移至 Hetzner 單台 GPU 伺服器自託管,稱月費由 $400 降至 $80。文中的成本表則列出總成本由每月 $490 降至 $195,節省約 $295;配置為 1× A100 80GB,透過 vLLM 執行 Qwen 2.5 72B,並使用 LiteLLM。
WorldStream 是一個開放式 3D 世界模型,透過階層式規劃和串流編譯擴展地形、執行自然語言指令,並保留玩家編輯。系統以世界紀錄保存規劃、物件狀態和編輯,讓玩家返回已探索地點時能重新編譯,並與現有實體互動。
Ask-to-Distill 透過優化合成問題,提升在策略知識蒸餾中的教師與學生分佈監督效果,過程無需正確答案。此方法在數學推理、程式碼生成及智能體任務中,平均表現和教師差距恢復均優於未優化的學生生成提示詞及經 KL 篩選的真實問題,在評估設定中與真實問題集蒸餾持平或更佳。程式碼、數據及模型均已公開。
WORTH Benchmark 評估模型在懸疑故事中自主發現證據及推理的能力,兩集試點顯示線索選取與人物判斷並不同步。Episode 02 的 37 次可評分測試中,31 次選出相同的一組錯誤人物;疑點句與洗脱嫌疑句分別被選取 25 次和 0 次。研究僅涵蓋兩集,未建立穩定的模型排名,也未報告人類與模型的比較。
ProVe 透過微調大型模型,使其一次預測一批未來 token,再以額外一次前向傳播驗證,反轉 speculative decoding 的提議與驗證角色。使用 32B 提議模型時,ProVe-lossless 在六項 benchmark 的平均自回歸生成吞吐量達 2.5 倍,無須訓練獨立 draft head。
Stratified Sparse Attention(SSA)結合確定性檢索與分數引導抽樣,在多項基準測試中提升長上下文推理的準確度與速度。於 RULER-HARD 上,Ministral-3-8B 在 50 倍注意力稀疏度下,32K 和 128K 的準確度分別由 81.8% 升至 84.2%、由 63.8% 升至 69.3%。
研究指出,擴散語言模型智能體可透過壓縮的連續隱藏訊息影響另一智能體的推理,且傳遞時機有時比反覆交換更重要。QASC 任務中,兩項支持事實分由兩個智能體掌握時,匹配訊息使準確率達 80.8%,錯誤樣本訊息則降至 46.8%,相差 34.0 個百分點。一次較晚傳遞達 87.8%,比四次循環交換高 7.0 個百分點。
曦望聯席 CEO 王湛表示,公司將專注推理算力,致力於降低單位 Token 成本,並以“用得起、用得穩、跑得快”為技術創新出發點。曦望稱,啓望 S3 相比上一代 S2 推理性能提升約 5 倍,單位 Token 推理成本下降約 90%。曦望還推出 256 卡超節點,通過高速互聯架構實現 256 張卡一級互聯。
Dhanush Kumar Sivaji 將一次 LLM 應用請求拆解為九個步驟,涵蓋用戶端呼叫、輸入驗證、提示詞組裝、模型生成、串流回傳、輸出驗證、重試與記錄。
Tenstorrent 融資 $1.5 billion,估值達 $6.2 billion,資金將用於擴展服務開放權重 AI 模型及影片生成的晶片業務。新估值較 2024 年底的 $2.6 billion 增逾一倍,本輪由 Trace Capital 和 Innovation X 領投。
Mercury 3 正式推出;InceptionLabs 稱它在多項基準中勝過 GPT-6 Luna 和 Claude Haiku 5.5,並以 4–8x 更快的速度達每秒 1,000+ tokens。
推薦理由:材料列出速度、上下文窗口和價格,並提供 Mercury 3 在 50 項 Mind2Web 導航任務中的結果,便於對照模型指標與部署案例。
Timestral Mistral 在零樣本預測中勝過 Google TimesFM-3,並以較低成本運行。文章稱,該模型在 M4-M5 基準測試的 MSE 低 12%,其 Mistral Cloud API 約比 Google TimesFM-3 API 便宜 30%。模型提供開源權重及雲端 API,並支援只微調不多於 0.5% 參數的 adapter-lite 方法。
MiniMax 發佈 M3.1 Flash 推理模型,其 Artificial Analysis Intelligence Index 得分為 42,較 M3 高 13 分,單項任務成本不到一半。
Gemma 4 26B A4B 可透過 llama.cpp 在 8 GB RTX 3050 上運行,需將 30 個專家層中的 21 個留在系統 RAM。啟用 drafter 時可容納 131,072 tokens 上下文,GSM8K/BFCL simple 評分為 0.965/0.945;生成速度為 33.7 tok/s,低於 12B 的 55.1 tok/s。
Mercury 2 入選 TIME 2026 年最佳發明的人工智能類別,是以擴散模型為基礎、具推理能力的 LLM。它每秒生成超過 1,000 個 tokens,速度較領先的速度優化 LLM 快逾 5 倍,並可在普遍可用的 NVIDIA GPU 上運行。公司其後推出 Mercury 2.5、Mercury Voice、Mercury Router 和 Mercury Decide。
inclusionAI推出醫療專用研究模型 Ling-3.0-flash-Sante,基於 Ling-3.0-flash,總參數量為 124B,每個 token 啟用 5.1B 參數。模型訓練上下文長度達 256K tokens,支援醫療推理、深度研究及工具輔助工作流程,權重可在 Hugging Face 和 ModelScope 取得。它不是醫療器械,不能取代專業醫療建議、診斷或治療。
vLLM 的 push-based NIXL connector 透過預先註冊 decode 端 KV 區塊,並將傳輸準備移至背景執行緒,改善分離式推理的 TTFT 與 TPOT。
PyTorch Helion 現可將 PTXAS 的 Advanced Control Files(ACF)加入 autotuner,與 kernel 配置聯合搜尋,探索編譯器控制項的調優空間。
Hybrid Reasoning Agents 提出混合架構,讓智能體在同一次生成中切換潛在推理與文字行動。在 11 項任務、三種模型規模的測試中,平均表現較文字智能體及以往的潛在方法高約 10.4%,token 用量減少 35% 至 55%,推理速度提升 1.8x 至 2.6x,估計成本節省 2.7x 至 3.7x。
Reflection AI 發佈 Beam,這款總參數量 501.3 billion 的稀疏 MoE 模型,在解題品質相若時,推理生成 token 約比同類開放模型少 3–4×。
OpenAI 於 2026 年 10 月 6 日公佈的 377 項成果中,有一項聲稱解決準黎曼猜想;它是黎曼猜想的較弱版本,而黎曼猜想被視為數學界最重要的未解問題之一。史丹福大學的 Jared Duker Lichtman 稱其為迄今最重要的 AI 數學成果,重要性遠超此前成果。
Anthropic 正在籌備一款直覺與推理能力更強的模型。該模型能辨識潛在意圖,亦更擅長跳出框框思考。
AI 智能體隱藏推理過程可降低 tokens 開支和延遲,但會失去查明異常決策原因所需的可讀除錯紀錄。推理可見度應按步驟設定:查詢路由可關閉説明,退款審批及面向客戶的回覆則保留理由。團隊可按一週實際流量比較説明開啟與關閉時的 tokens 開支。
PyTorch 宣佈推出開源 TorchNeuron,作為 AWS Trainium 的原生 PyTorch 後端,並將於 2026 年 10 月 20 日開放 Public Beta。
作者的應用程式使用 OpenAI 相容的 /v1/chat/completions 端點,雲端、vLLM 和中轉伺服器對 reasoning_effort 與串流回應的處理方式不一,錯誤分類因此令瀏覽器操作未能執行。
MiniMax 於 2026年10月19日正式推出 M3.1 Flash,線上推理速度提升近 3 倍,綜合使用成本降低 70%。
MiniMax 正式推出 M3.1 Flash,稱其智能體任務能力提升、線上推理速度接近三倍,智能體任務使用成本較上一代降低 70%。模型在 DeepSWE v1.1 得分 73.7%,日常輸出速度可達 200+ TPS,中位數(P50)持續達 170+ TPS。
MiniMax 正式發布新一代 Flash 模型 M3.1 Flash,稱其在智能體任務、編程、Computer Use 及網絡安全能力上實現代際提升。此前以匿名身份處理超過 200T Token 的 Space Bunny,是 M3.1 Flash 的早期版本。M3.1 Flash 線上推理速度提升近 3 倍,使用成本降低 70%。
AI可結合實驗數據與生物學或物理化學約束,重建、模擬和預測生命系統尚未被觀測的中間過程,讓藥物研發由觀察靜態結構延伸至推演動態變化。文章以環肽、虛擬細胞及分子膠説明這條路徑;百曜科技的 CellOS 以 3.905 億個人類單細胞轉錄組數據訓練,參數規模達 120 億,採用 LLM-JEPA 架構。
DeepSeek V4.1 Flash 1017(Max)以 MoE、MLA 和 FlashAttention-3 優化推理吞吐量與延遲。在 1k prompt / 512 completion 合成負載下,TTFT 為 185 ms、總生成速度為 480 token/s,較競品標準 MoE 分別快約 23% 和 55%。
VIDRAFT 的 Darwin-180B-RSI 是一款 180B 參數的開放權重語言模型,在 AIhoster 截至 2026-10-19 更新的排行榜上,以 MMLU-Pro 88.1% 和 GPQA Diamond 94.4% 均列第一。
Artificial Analysis 的 Intelligence Index v4.3.2 給 DeepSeek V4.1 Flash 1017(Max)45 分,前版為 39 分,單項任務成本由 $0.49 降至 $0.26。
Haseeb Sagheer整理了 30 道生成式 AI 與 LLM 面試題,並為每題提供可按個人項目調整的簡短示範答案。題目涵蓋 Transformer、預訓練與微調、提示詞及推理設定,以及正式環境中的安全、成本和評估。文中建議以實際項目例子説明答案,並建議尚未有 GenAI 項目的人製作 RAG 應用,練習嵌入向量、向量搜尋、提示詞及幻覺控制等概念。
潤建股份簽下為期一年的 2 億美元跨境 AI 服務合約,境外客戶透過 API 調用大模型推理服務,算力資源部署在中國境內。合約設有最低採購保底條款,若年度實際消耗不足 2 億美元,客戶須按約定補足差額;合約金額約相當於公司 2026 年上半年營業收入的 35.6%,但不等同已確認收入或利潤。潤建股份算力網絡業務同期毛利率為 6.97%;文章指出,訂單價值仍取決於履約、算力成本、設備折舊與客戶回款。
Bridged Self-Distillation(BSD)提出統一框架,利用外部教師提供的推理軌跡作為特權上下文,為學生模型的生成結果評分並引導更新,以進行 On-Policy 推理能力蒸餾。
文章提出按任務類型、所需能力、延遲與風險,將 AI 請求路由至合適模型,而非讓所有任務共用一個模型。文中建議以少量任務類別和三層模型策略起步。團隊可用成功率、延遲、成本及人工修正等指標,持續檢視路由效果。
Robin提出一套免費方案推理端點的准入控制方法,按實測服務率和請求期限限制併發及重試,以避免盲目重試令共享端點超載。方法包括掃描不同併發量下的狀態碼及延遲、按 Little's law 設定預算,並分別處理 429、逾時、5xx 和截斷串流。作者提供重試下限和故障注入測試,並披露文章是 MonkeyCode 產品推廣項目內容;他指出共享免費方案不能保證硬性 p99 SLO。
Token需求快速增長之際,雲平台、獨立推理服務商和傳統算力企業均在拓展相關業務,但調用量增長不保證盈利。國家數據局數據顯示,日均 Token 調用量由2024年初約1000億增至2025年底100萬億,並於2026年3月突破140萬億。硅基流動2025年收入增長653.2%,毛利率卻降至-24%;九章雲極同期逾九成收入仍來自智算基礎設施方案,價格競爭、算力成本與利用率是盈利關鍵。