視覺語言模型在哪些 3D 推理任務上失敗?
BedBench 顯示,視覺語言模型難以準確計算 3D 物件各顏色的數量,並在回答中一致地運用這些計數。基準涵蓋 13 項任務;人類準確率為 93.3%,最佳模型為 7.2%。針對性微調令一個模型的準確率由 3.0% 升至 68.6%,但其答案仍與自身計數不一致;程式碼和數據集已公開。
BedBench 顯示,視覺語言模型難以準確計算 3D 物件各顏色的數量,並在回答中一致地運用這些計數。基準涵蓋 13 項任務;人類準確率為 93.3%,最佳模型為 7.2%。針對性微調令一個模型的準確率由 3.0% 升至 68.6%,但其答案仍與自身計數不一致;程式碼和數據集已公開。
Apriel Voice 27B Preview 是一款開放式語音語言模型,在共享推理骨幹中整合語音理解、推理及工具調用,並保留文字和圖像輸入。模型以經後訓練的 Gemma 4 26B-A4B checkpoint 為基礎,透過兩階段訓練及線上蒸餾適配語音。
這項研究追蹤 LLM 強化學習中訓練與推理不匹配的來源,並提出差異—滯後校正(DLC)以穩定訓練。研究將不匹配拆分為引擎數值差異和策略滯後,並在有效樣本量低於一半時重新同步取樣器。DLC 在 Qwen3-0.6B 和 Qwen3-1.7B 上,將與 on-policy 訓練的 KL 散度維持在兩次獨立 on-policy 訓練之間 KL 散度的兩倍以內。
研究提出以 BookNavigator 配合強化學習和細粒度獎勵,訓練大語言模型從長篇教材中自主檢索、學習並應用知識,完成數學證明題。Intern-S2-Preview-35B 的整體證明準確率由 51.5% 升至 79.5%,並在 BrowseComp-Plus 和 CL-bench 上分別較基礎模型提升 1.7 和 2.3 個百分點。
Apple 發佈首款觸控 MacBook Pro,最高配備 128GB 統一記憶體,M5 Max 版本可在本地運行數千億參數的大語言模型。M5 Pro 與 M5 Max 的每個 GPU 核心均內置神經網絡加速器,可加速本地 AI 推理,並支援編程智能體及圖形密集型 AI 任務。
TypeSafe AI 的 Jev 接收上下文和預設答案選項,輸出結構化判斷及概率;文章分析程式何時可據此採取行動。一項預印本在 37 個數據集、346,009 次請求中發現其分類及推理表現突出,但也有若干弱點;另一項研究的一個合取任務實驗中,54% 回應違反受測概率規則,這並非一般錯誤率。文章建議按實際工作負載測試、依應用情境設定閾值,並先在影子模式記錄結果,由應用程式獨立執行權限與政策檢查。
變分推斷(VI)透過最大化證據下界(ELBO),把難以計算的後驗推斷轉為可微分、可擴展的最佳化,以速度和擴展能力換取精確度。mean-field 假設可能漏掉多峯及相關結構,令後驗不確定性偏低;重參數化技巧支援梯度訓練,而攤銷推斷會帶來額外差距。重視大規模快速近似時可選 VI;若需準確刻畫多峯後驗或可靠量化不確定性,則可考慮 MCMC。
Apple 發佈搭載 M5 Pro 或 M5 Max 的全新 14 吋及 16 吋 MacBook Pro,並首次為 Mac 加入觸控操作。新機配備採用串聯式 OLED 技術的 PROLED XDR 顯示屏,最高 HDR 和 SDR 亮度達 2000 nits,並加入 Dynamic Island。產品於 2026 年 10 月 28 日起接受預訂,並於 11 月 6 日起供貨。
推薦理由:公告列出串聯式 OLED 顯示、Mac 首次加入觸控與 Dynamic Island,以及 M5 Pro、M5 Max 的定位,概括新機在顯示、互動和運算上的變化。
Google 宣佈推出 Gemini 4 Carbon,稱其為旗下最強模型,並強調其網絡安全及長時程任務能力。它在 SEC-bench Pro、ExploitGym 和 CWE-bench 分別取得 88.2%、54.8% 和 71.0%,對應漏洞發現、利用驗證及修補。Google 表示本週起會向部分網絡防禦人員開放,逐步擴至其他可信合作夥伴,並在完善防護措施後盡快向開發者、企業及消費者提供。
PyTorch 發佈 2.15,並將重寫版 NCCL 後端設為所有 nccl process group 的預設。版本包含 3,117 個 commits,來自 583 位貢獻者;預設 wheel 改用 CUDA 13.2,並提供 CUDA 13.4 及 ROCm 10.0 wheels。
Google 的 Gemini 4 Carbon 在 Artificial Analysis Intelligence Index v5 取得第 1 名,並在 9 項評測中的 4 項排名第一。
GitHub 於 2026 年 10 月 28 日在 GitHub Universe 2026 宣佈 Copilot Fusion 正式開放使用,這套多模型路由與協調系統會按提示詞選擇模型及配合方式。
推薦理由:GitHub提供基準分數及成本、token 用量和耗時比較,配合三種力度與三種執行流程,呈現 Copilot Fusion 的路由設計及資源取捨。
Modal 與 Sakana AI 合作,將約 1T 參數的 Sakana Namazu 部署至 Modal,支援其公開 API 上線。Modal 團隊以日語代表性資料調校 NVFP4,並以約 1M 個真實請求從頭訓練 DFlash2 草稿模型。在 1,000 個保留請求的測試中,平均接受長度由 3.51 升至 5.01,p99 延遲由 68s 降至 52s。
Meta Andromeda 新一代個人化廣告檢索系統透過模型、系統與 GPU 硬件協同設計,在單一 GPU 伺服器上每秒為超過 10 億則合資格廣告評分,吞吐量較 2024 年系統提升 100 倍。
Superhuman 團隊將 100 毫秒界定為即時介面回應預算,而非完整生成時限,並預先載入收件人語氣和電郵對話串內容,讓即時請求只提交新的轉錄內容。團隊先用能力最強的模型驗證功能,待任務範圍和標籤穩定後,才轉用較小或微調模型;自動分類則可在確定 10 或 12 個有用標籤後,採用微調 BERT 分類器及較低成本的專用基建。系統只會起草電郵,不會代用戶寄出,發送仍由用戶確認。
NVIDIA 為 RTX Spark Windows 手提電腦公佈新模型、智能體工具及遊戲更新。Nemotron 3.5 Transcribe 可轉錄 40 種語言,並處理説話者標註、翻譯及音訊問答;NVIDIA App 新增前景應用程式與背景智能體之間的 GPU 資源分配控制。
Oracle 宣佈擴大 OCI 的 AI 晶片選項,加入 Google TPU 以及 OpenAI、Cerebras、SambaNova、Positron AI 的推理晶片,增加 Nvidia GPU 以外的選擇。
摩爾線程公佈2026年第三季度報告,單季營收15.5億元,錄得歸母淨利潤4926.0萬元,較公司原定2027年實現盈利的目標大幅提前。截至報告期末,公司近12個月營收達40.1億元,前三季度營收32.9億元;前三季度研發投入13.4億元,已超過2025全年。公司稱,基於MTT S5000的智算產品在模型訓練和推理方面獲高度認可,並與京東雲計劃建設十萬卡全功能GPU集羣。
超衍智能發布 35B 模型 Apex-35B-V1.0,並讓 AI 參與實驗與結果分析,將遞歸自我改進(RSI)引入模型研發。在 21 項基準測試中,該模型較 Qwen3.6-35B-A3B 領先 20 項;對比 Recursive SuperIntelligence 的 Flint,則領先 18 項、1 項持平。
南洋理工大學、中國科學技術大學、新加坡國立大學與微軟研究院的研究者提出 NV-CoT,以連續數值座標選取圖像區域,並獲 NeurIPS 2026 Oral(Top 0.4%)。在 Vis-CoT-363K 驗證集上,定位 IoU 由 47.3 升至 59.5;在 V* Bench、HR-Bench 4K 和 HR-Bench 8K 上,SFT 與 RL 路線均有提升。
IDC《中國AI軟件市場半年度追蹤,26H1》顯示,2026H1中國MaaS市場規模達106.3億元人民幣,同比增長889.4%。MaaS佔中國公有雲PaaS市場的比重由2025年下半年的5.2%升至21.0%,Token消耗量達2,857.9萬億,同比增長約432.5%。報告指出,短期競爭取決於模型能力與推理效率,長期核心壁壘則是算力規模、成本、異構適配能力及供應鏈確定性。
芝加哥大學教授、菲爾茲獎得主鄧煜指出,AI 不應取代人類自主思考,數學在 AI 時代也不會消失;過度依賴 AI 可能令人失去人之為人的核心特質。鄧煜於2026年7月23日在國際數學家大會上獲頒菲爾茲獎,原因是解決狹義希爾伯特第六問題。
AI 推理雲端初創 General Compute 完成由 Blackbird 和 Abstract Ventures 領投的 $100 million A 輪融資,投後估值達 $800 million。
摩爾線程發布2026年第三季度報告,單季營收達15.5億元,同比增長1773.9%,並錄得歸母淨利潤4926.0萬元。前三季度營收32.9億元,同比增長319.1%;研發投入13.4億元,同比增長55.7%,已超2025全年。基於MTT S5000的智算產品在模型訓練及推理方面獲高度認可,公司與京東雲計劃建設十萬卡全功能GPU集羣。
Clover-35B-A3B-Preview 於 10 月 28 日發布,以 Qwen3.6-35B-A3B 自回歸權重為起點,採用 32-token 塊擴散及改造版 GDN,規格為 128K 上下文。
Strata 0.2.8 預設關閉 12GB 及以下 RTX 顯示卡的路由加速;Strata 0.2.7.1 則加入 NVIDIA DGX Spark(Linux ARM64)支援。此前的優化令 RTX 3060 的程式碼生成速度提升約 37%,但只在長時間會話中重複出現文本時生效;10 項 Agent 任務的平均通過數,開啟優化時為 4.5 項,關閉時為 5.6 項。
EvidenceConnect 透過合成訓練數據,強化模型連結視覺證據的能力,改善空間感知及多模態推理。研究者以該框架生成數據訓練基礎 VLM,取得 Zooming without Zooming v2(ZwZ2),並在細粒度與空間感知等任務上取得提升。驗證方法包括要求獨立 VLM 對參考答案達成一致,以及以區域消融測試剔除不合格問題。
Polymathic AI、Princeton University、USC ISI、NYU 和 Flatiron Institute 的研究人員發佈 FlashMap,這款推測解碼草擬器以連續 flow map 一次草擬完整的 16-token 區塊。
作者在 16 GB MacBook M5 上測試三個本地模型,並整理 16–128 GB Mac 的記憶體配置表。測試涵蓋 Qwen 3.5 0.8B、Qwen 3.5 4B 和 Gemma 4 12B;文章以模型權重加上下文 KV cache 不超過 Mac RAM 的 ¾ 作估算原則。
OpenAI 宣佈在數學、電腦科學及物理學領域取得三項成果,並採用不同發布安排,科研界對成果公開方式提出批評。數學成果據稱證明掛谷猜想,電腦科學成果則宣稱證偽指數時間假説;物理學研究涉及量子色動力學及楊–米爾斯理論,但沒有解決質量間隙問題。受訪研究人員指出,核驗成果需要大量時間,並質疑由 OpenAI 選定專家及限制查閲範圍,主張公開材料供學界共同檢視。
推薦理由:三項成果的公開程度並不一致,爭議落在專家遴選與證明材料的平等查閲,呈現 AI 科研如何兼顧核驗和開放的難題。
文章比較 API 模型與本地模型的成本,指出損益平衡取決於請求量及 GPU 利用率,而非固定的經驗法則。在 RTX 5070 Ti(16GB)的量化實驗中,Q4_K_M 的吞吐量達 fp16 的 2.22x,平均嵌入向量相似度為 0.9835,反映效能提升伴隨精度取捨。私隱及資料所在地要求可能先於成本決定部署方案;穩定高用量可考慮本地部署,不均或突發的工作負載則可混合使用 API 與本地模型。
作者將 TabPFN 用於 Cashcast 收款工具,在按月回測的 1,075 次預測中取得 0.882 AUC,略低於邏輯回歸的 0.890。TabPFN 的分位數預測可按發票未付款時間估算條件逾期風險,其 80% 付款日期區間覆蓋率為 79.1%,高於梯度提升樹的 57.5%。作者亦指出,CPU 預設不允許使用超過 1,000 筆樣本,因此將資料限於最近 1,000 筆已付款發票。
Off Grid AI Mobile 0.0.116 或更新版本支援在 iPhone 上為相容模型啟用 MTP(multi-token prediction),加快本地 AI 回覆,並會在開啟功能時自動下載所需的 MTP head。
作者以 $0.259/hour 租用一張 RTX 3090,使用 vLLM 0.27.1 服務 Qwen2.5-7B-Instruct;測試顯示,並發請求由 1 增至 64 時,輸出速度由 40 tokens/s 升至 878 tokens/s,每 1M 輸出 tokens 成本則由 $1.81 降至 $0.08。
文章説明,GPU TEE 可在阿聯酋資料中心的 AI 推理期間保護提示詞、檢索上下文及模型權重,避免主機及 hypervisor 存取,但部署須同時驗證 CPU 與 GPU 的複合證明,並由 KMS 在證明通過後釋出模型金鑰。
Agent AI 推動 AI 負載由模型訓練轉向推理,多輪推理令 KV Cache 隨序列長度增長,HBM 容量與帶寬因此成為主要瓶頸。NVIDIA 的 GPU Direct Storage 及 Storage-Next 架構讓 GPU 直接存取 SSD,為推理記憶體提供新路徑。
ThinkWorld提出一種視覺-語言-動作(VLA)學習框架,以世界動力學為動作推理奠基,並透過世界想像的強化學習提升機械人泛化能力。框架以動態鏈(CoD)表示動作,利用未標註人類影片中的狀態轉移提供監督;模擬及真實機械人實驗顯示,該方法能促進人類經驗向機械人遷移,並泛化至未見任務和環境。
Prox 以 top-k 通道選擇取代經校準的閾值,在 Mixture-of-Experts 推理解碼中無需校準數據。於 13% 和 18% 讀取預算下,top-k 版本在 43 項比較中有 40 項匹配或勝過閾值版本;在三個後訓練 MoE 模型上,新讀取器以 17.8% 的路由專家讀取量保留完整模型 98.1% 的準確度。
作者用四條 MySQL 8.0 慢 SQL 測試 AI 根因判斷,結果是兩條判對、一條偏差、一條錯誤。補上執行計劃、鎖等待等現場資料後,AI 將一宗加索引的判斷修正為長事務造成的行鎖等待。文章並提供提示詞模板及驗證清單,建議把 AI 給出的根因視為假設,逐項上機核實。
Nemotron-Labs-Diffusion-Uni(NLD-Uni)是一款結合視覺理解與生成的統一離散擴散大語言模型,採用跨範式策略上蒸餾及漸進式自我精煉擴散。在視覺問答、多模態推理、物件定位、文字生成圖像及圖像編輯等多種任務上,NLD-Uni 在統一擴散大語言模型中達到最先進表現。