CONGA:編譯高斯纖維幾何以進行結構化貝葉斯推理
研究團隊提出 CONGA,透過辨識條件高斯區塊並按其結構和計算成本選擇實作,為後驗推理構建傳輸映射。在 Stock-Watson 通脹模型上,CONGA 將 NUTS 的每秒最低有效樣本量(ESS)提升 12.5x。它亦在原始目標無法收斂的情況下恢復收斂,包括同一模型上的 WALNUTS,以及將 6760 維電力負載模型縮減至 34 個核心座標後使用 NUTS。
研究團隊提出 CONGA,透過辨識條件高斯區塊並按其結構和計算成本選擇實作,為後驗推理構建傳輸映射。在 Stock-Watson 通脹模型上,CONGA 將 NUTS 的每秒最低有效樣本量(ESS)提升 12.5x。它亦在原始目標無法收斂的情況下恢復收斂,包括同一模型上的 WALNUTS,以及將 6760 維電力負載模型縮減至 34 個核心座標後使用 NUTS。
研究提出 ForceHarness,讓凍結的前沿多模態模型無需示範或微調,便可透過自行調節力道的控制原語和附有不確定性的物理量,使用力資訊操作機械人。在沒有腕部力感測器的真實機械臂上,GPT-6 Astra 的零樣本成功率由 3.3% 升至 90.0%。
DNeo 改良並行草稿模型的目標特徵編碼,以提升大型語言模型推理速度。其架構結合 Mixture-of-Features Attention(MoFA)、拒絕記憶、2-tap 因果卷積、僅前綴交叉注意力及非均勻目標層選擇。相較 SoTA(DFlash-2),DNeo 的生成速度快 1.3x,且不影響草稿模型規模或生成質素。
研究發現,27B 語言模型可透過自身推理,在不使用梯度或訓練的情況下改寫自身權重,並在預先固定的 490 道未見題目上提升 6.6 個百分點的準確率。模型只在自身測試支持改動時才提交修訂;首八次修訂中,其準確率持續上升。此外,模型僅憑文字數學題定位受損矩陣並以自身數值重寫,令副本在六個未見圖像基準上的準確率由 7% 升至 70%,相當於未受損模型的 83%。
MedJev 將醫學影像、問題及候選答案直接映射為決策,無需自回歸生成,在單次多模態前向傳遞中完成判斷。基於 Qwen3.5-4B 的 MedJev-4B,在四項醫學影像分類及視覺問答基準上,準確率絕對提升 7.93%,端到端速度提升 6.04 倍;與 20 個模型比較,在 4B–9B 通用及醫學 VLM 中取得最先進的效能及推理速度。
AI Infra 從業者趙晨陽在「十字路口」年終回顧中分享 10 個觸動他的 AI 瞬間,聚焦 RSI、遞迴自我改進,以及用 Kimi 加速 Kimi。內容亦涉及模型優化模型、Kernel 優化、推理加速、NVIDIA B300、OpenRSI 和評估標準,並提及 SGLang-Omni、ASR、TTS 與 Claude。
Walid Hadri 以「法國首都是甚麼?」為貫穿例子,梳理語言模型從 Shannon 的下一字母預測到現代 Agent 的演進。內容涵蓋 word2vec、RNN/LSTM、Transformer、RLHF、推理模型及 Agent,並附有多組開源模型實驗程式與輸出。實驗輸出是在 RTX 4070 Ti 上取得,硬件和精度不同時結果可能略有差異。
llama.cpp 發佈 v1.0.0 首個穩定版,採用語義版本規則,公共 C API 的不相容變更只會隨主版本號升級。
裝置端 AI 可在沒有網絡時回答,因為模型檔案載入本機後,llama.cpp 等 runtime 會在本機 CPU 或 GPU 執行推理,無須連接遠端伺服器。文章估算小型模型與 8B 模型的權重分別約 0.91 GB、4.85 GB,解碼速度約 86、16 tokens/s;速度數字是假設估算,尚未用真實模型測量。
華為雲 MaaS 模型即服務平台正式上線開源盤古模型 openPangu-2.1-Pro,模型針對 Agent 開發、AI 編碼及推理優化三大方向升級。模型在深度研究、鴻蒙系統操控、鴻蒙 App 開發、昇騰算子生成及推理鏈路優化等場景有所增強,並將接入智果 AgentArts、碼道 CodeArts 及果辦 OfficeAce。
華為雲 MaaS 平台正式上線開源盤古模型 openPangu-2.1-Pro,聚焦智能體開發、AI 編碼和推理優化三大方向升級能力。模型以 10 萬餘條專項數據優化 Skills 觸發、工具選擇與調用,並加強深度研究、鴻蒙系統操控及昇騰算子生成等場景。平台提供模型 API,推理輸入價格為每百萬 tokens 0.8 元,推理輸出為 3.2 元。
Cerebras公佈2026年第三季度業績,Core收入按年增長70%至2.31億美元,並預期第四季度Core收入為3.10-3.30億美元。雲服務收入增長受數據中心產能建設進度限制,OpenAI相關容量交付已落後合約進度;公司稱芯片和整機供應沒有問題。第四季度Core毛利率指引為47%-49%,管理層預期毛利率向60%的長期目標推進。
Sevren 推出 Embla 1,一款可完全在手機離線運行、每個 token 約啟用 1B 參數的 10B 參數 MoE 推理模型。Sevren 使用自家 Metal 實作在 iPhone 18 Pro 測得,處理 1,024-token 提示詞並輸出 256 tokens 需 1.77 秒,llama.cpp 則需 2.18 秒。
作者在 Surface Laptop Ultra 上測試後發現,專用 GPU 記憶體設為 4GB 時,gpt-oss-120b 仍達 58.8 tokens/s,約為 64GB 設定速度的 92%。
Graph Deep Learning 第 5 章探討圖生成與推理,涵蓋生成、補全圖結構,以及利用圖中的關係進行推理。文中介紹 GraphVAE、生成對抗方法和圖擴散模型,並説明知識圖譜推理如何結合邏輯、路徑與神經方法。知識圖譜亦可透過實體和關係組織檢索證據,支援檢索增強生成。
文章核對 Hugging Face 資料後指出,RTX 3090 24GB 可透過 4-bit 量化運行 Qwen3.8-27B,但不能在本地運行 Qwen3.8-Flash-Next。
韓國電訊營運商 LG U+ 將於明年進軍 AI Token 業務,運用自研 Token 優化技術協助企業降低 AI 轉型成本。服務結合 Harness Engineering、智能路由及晶片組合,並以小模型生成答案、大模型驗證,令 Token 生成速度提升兩倍以上。
作者在 Ollama 上以 Qwen3.8 27B GGUF 測試移除 xhigh 段落時,預期每項任務的 prompt token 開銷約為 14,實際 10 項任務均為 52,因此按預先登記規則判定該次實驗無效。
作者以相同 Gemini API 端點、題目、設定及評分方式,對 Gemini 4、Gemma 4 與 Gemini 3.x 七款模型進行同場比較。Gemini 4 Argon 在 1,319 道 GSM8K 數學題得分 0.9841,並在 400 項 BFCL simple 函數呼叫測試中,以 0.9675 與 Gemma 4 31B 並列最高分。
xbill 以 gemma4-dev 的實測數據比較本機、託管 API、Cloud Run 和租用加速器,整理不同負載下選擇模型執行方式的依據。測試中,Gemini 4 Argon 的 GSM8K 得分為 0.9841;Gemma 4 31B 經 Gemini API 和 RTX 3050 均答對 1,284/1,319 題。
這篇教學提供估算 LLM 服務所需 VRAM 的方法:將模型權重與 KV cache 相加,再除以 0.92。以 Llama 3.1 8B 的 BF16 模型承載 32 個、每個 8,192 tokens 的請求為例,約需 54.80 GB GPU 記憶體,因此 48 GB 不足,80 GB 則可用。
作者用五個 AI 模型評估化學卡牌遊戲構想,再查核同類產品及其後續,發現 The Atomic Builders 在 2024 年 Kickstarter 獲 42 名支持者、籌得 €1,879。
Multi-Branch Transformer(MBT)透過並行分支處理 Transformer 區塊,並結合共享 KV cache,提升語言模型品質及推理效率。實驗顯示,標準 Transformer 需要多用最多 1.26x 訓練計算量,才能達到最終模型的驗證損失;模型最多減少 34% KV cache 儲存,並在單張 H200 GPU 上提升最多 51.4% 解碼吞吐量。
RAPO 透過識別高熵推理位置作為稀疏反思錨點,並以 chain-masked KL 目標訓練策略在後續推理中保留視覺影響。在 Qwen3-VL-2B-Instruct 上,RAPO 將六項基準的平均 mean@8 accuracy 從 GRPO 的 40.79 提升至 43.01。標準推理時無須額外重新注入視覺資訊或選擇錨點。
作者從零以 C++ 和 CUDA 打造開源 LLM 推理引擎 tinyinfer,令 TinyLlama-1.1B 在 RTX 3050 6 GB 手提電腦 GPU 達到 235 tokens/s。
NPU 是專為低功耗 AI 推理而設的晶片,不少中高階手提電腦配備它,主要是為符合 Microsoft 的 Copilot + PC 認證要求。該認證要求 NPU 提供 40 TOPS,並配備 16GB RAM 和 256GB 儲存空間,但支援 NPU 的軟件仍然有限。
Google 的 Gemini 4 Carbon 登上 MathArena 數學基準榜首,取代 GPT-6.1 Sol,成為一段時間以來首個登頂的非 OpenAI 模型。
temperature=0 的大語言模型輸出仍可能不一致,因 GPU 浮點運算的求和次序會隨批次形狀改變,令接近的最高 logits 對應 token 翻轉。作者的玩具 float16 模擬中,5,000 個向量有 17 個(0.34%)的 argmax 翻轉;按每步獨立估算,500-token 輸出至少分歧一次的機率約 82%,但這只是示意,並非生產模型測量。
Swizzle Runtime v0.1.0 以純 Rust 在 NVIDIA GeForce RTX 3050 Laptop GPU(4 GB VRAM)上運行 Qwen3-0.6B-Q8_0.gguf,CUDA tg128 測得 209.70 tok/s,CUDA pp512 測得 TTFT 43.37 ms。
作者在 Qualcomm QCS6490(Dragonwing RB3 Gen 2)上測試 Qwen3-0.6B,測得 Prefill 1,555 tok/s、Decode 24.6 tok/s。
ggml 發佈 1.0.0,移除已棄用的公開 API 和舊版 DIAG_MASK 運算,並加入可設定的 YaRN 截斷及 FP8 支援。版本亦為 CUDA、Metal、Vulkan、SYCL、OpenCL、WebGPU、Hexagon 等後端帶來多項算子及效能改進,包括少行量化矩陣乘法、MoE 融合及 Vulkan prefill FlashAttention 路徑。
Mocu 開發者認為,廉價模型在智能體任務上的弱點可能不在知識不足,而在於缺少預測行動後果的世界模型。論文提出的 WorldEvolver 透過情節記憶、語義記憶和選擇性預見,在不改動模型權重的情況下改善預測及下游任務表現。開發者計劃為 Mocu 採用類似機制,讓世界模型以文字累積經驗,並以信心度篩除低信心預測。
DevOpsInterview.Cloud 提供 AI 基礎設施工程師面試指南,按平台系統設計流程整理從需求分析到模型回滾的問題與答案。指南涵蓋 GPU 容量估算、訓練與推理資源分池、以請求佇列及 KV cache 指標進行推理擴縮容,以及冷啟動和每次請求成本。內容亦説明 GPU 上的模型發布與回滾,並提供 KEDA、Prometheus、vLLM 等相關配置和指標示例。
北京商業航天在太空算力、火箭運力和衞星應用等環節取得進展,產業發展正由單點突破轉向協同推進。「辰光一號」在軌穩定運行超三個月,供電、算力和散熱通過第三方在軌評測,並驗證多個大模型訓練及推理任務。銀河航天低軌寬帶通信試驗星座在印尼完成應用演示,星河動力一年內成功入列穀神星二號和智神星一號兩款新型號火箭。
百度詞元所發布首日新增申請入駐的供應商超過100家,並新增超過1000家客戶接入。平台於11月12日在百度世界2026正式發布,連接模型供應方與企業及個人用戶,並透過模型核驗、上線後監測及供應商信用評級建立信任機制。試運行期間,平台已有超過100個供應資源,日均調用次數突破5000萬次,目前上架40餘款模型。
文章推演,若黃仁勳再創業,憑藉其技術判斷、人才號召力及供應鏈關係,新公司可能成為 NVIDIA 的競爭對手。文章以阿莫迪創辦 Anthropic 為例,指出按兩家公司各自披露口徑,Anthropic 今年第二季度營收超過110億美元,OpenAI為67億美元,首次超過老東家。文中提出,新公司可從推理服務、機械人計算系統或收購已有技術的公司切入,並藉助供應鏈關係推進生產與交付。
Google 透過 Antigravity 向用戶開放由 Gemini 模型驅動的 Teamwork 多智能體系統,Teamwork-LEAP 已完成韋伊猜想證明的形式化工作。
GPT-6 Astra 以 50 次前向傳播編輯 Qwen3.5-0.8B 的 131,072 個權重,未經訓練便把其 MATH-500 得分由 7.9% 提高至 48.1%。
Google 擴展 Antigravity 多智能體系統,透過 Gemini 驅動的專業智能體協作執行數學證明等任務,並正透過 Antigravity 向用戶開放 Teamwork 和 /boost 工作流。
InferenceKey 實測 Clover-35B-A3B 在 llama.cpp v0.9.0 上只以 AR 模式逐個 token 推理;修補官方 Q4_0 GGUF 後,模型在單張 RTX 4090 上達到 202–211 tokens/s,首 token 延遲為 0.13–0.31 秒。