Neuro-Symbolic AI 為何是建立可信賴智能的關鍵
Neuro-Symbolic AI 將深度學習的感知能力與符號邏輯結合,旨在改善黑箱模型的可解釋性、安全性及確定性推理。神經網絡處理非結構化資料並提取概念,再由符號引擎套用規則、限制和因果推理。文章列出自動駕駛、精準醫療及金融風險與詐騙偵測等應用。
Neuro-Symbolic AI 將深度學習的感知能力與符號邏輯結合,旨在改善黑箱模型的可解釋性、安全性及確定性推理。神經網絡處理非結構化資料並提取概念,再由符號引擎套用規則、限制和因果推理。文章列出自動駕駛、精準醫療及金融風險與詐騙偵測等應用。
排序相近提示詞可減少離線混合專家(MoE)批次工作每個解碼步驟讀取的專家權重;Hugging Face 在不更改 vLLM 的測試中測得吞吐量提升 5% 至 17%。沒有主題標籤時,可用小型嵌入模型和 k-means 分羣;無標籤聊天數據的 Qwen 測試仍提升約 5% 吞吐量。線上服務的排隊延遲可能抵銷收益,密集模型則不會因排序而受益。
NVIDIA 擴展開放模型系列,推出涵蓋語言、機械人、生物學及量子計算的多款模型與工具。新增項目包括 NVIDIA Nemotron 3.5 Super VL。
歐洲車廠及出行業者正展示以 NVIDIA Hyperion 為基礎的 L3、L4 自動駕駛及未來 Robotaxi 應用,Volvo Cars 亦採用 Hyperion 和 NVIDIA Alpamayo Stack。
北京郵電大學研究團隊提出 MiTA 高效注意力,融合壓縮與路由,並以快速權重視角統一分析多種高效注意力方案。無需重新預訓練、直接替換注意力,語義分割的算力最高可降低 42%,長序列基準的總訓練時間減少 77%。標準注意力訓練的現成模型可在推理階段改用 MiTA,精度損失約一個百分點;目前實驗尚未涵蓋大語言模型的自回歸解碼。
LLM 上下文由指令、訊息、工具互動及推理狀態等項目組成,模型讀取這些內容並生成回答或工具呼叫。上下文窗口限制生成時可處理的 tokens 數量,輸入與輸出均計算在內;超出限制時,系統可能截短上下文或拒絕請求。工具呼叫透過函數名稱、參數及呼叫 ID 連接工具輸出,讓模型繼續推理或作答。
DeepSeek 開源 DeepInfer,這是一個主要基於 vLLM 構建、供 DeepSeek 模型使用的 Apache 2.0 推理框架,目前初始支援 DeepSeek-V4.1-Flash。
作者將為 57 篇部落格文章建議標籤的工作,從本機 Ollama 移至 DigitalOcean Inference;20B 模型的執行時間由 17.1 分鐘降至 2.1 分鐘。
Google 團隊發佈開源分散式推理堆疊 llm-d 1.0,這是首個穩定版本,能將 vLLM 或 SGLang 模型伺服器組成協同服務池。新版本加入多租戶流量控制、路由器高可用及智能體感知服務。
Specter 結合量化推測解碼與專家卸載,加速單 GPU 上的 MoE 推理,並透過預測未來專家用量,提前安排專家傳輸與執行。單請求推理下,Specter 的每輸出 token 時間(TPOT)平均加速 1.50x,最高達 1.88x。
Terminal X 的 Eval Agent 使用 GPT-6.1 Sol,在 500 項評分判斷中與資深人類審核者的一致率為 88.6%。Eval Agent 按 54 項準則評分;相較次佳模型,GPT-6.1 Sol 多識別約 25% 偏離基金投資授權的建議,同一工作流程每次查詢成本低約 30%。
Inco AI 發佈開源本地 AI 推理引擎 Splash 1.4.0,開發者稱在相同 Mac、相同模型下,輸入處理和回答生成速度均較 Strata 快約 30%。
小米於 10 月 20 日宣佈 MiMo-V2.6-Pro 接入 WorkBuddy;模型在 Artificial Analysis Intelligence Index 取得 46.32 分,當時於受測開放權重模型中排名第一。
DecisionPivot 是一項診斷基準測試,用於評估 LLM 系統中的決策模型在受控變化下的表現。測試涵蓋 48 項任務、40,033 個項目及七種決策角色,並評估準確率、校準和推理投入等指標。兩個 27B 模型在參考軌道僅差 2.6 分,對比組準確率卻分別為 70.1% 和 44.2%。
作者以 PyTorch 從零搭建小型大語言模型,逐步解説文字如何轉成 token,再經 Transformer 處理以預測下一個 token。示例模型以莎士比亞文本訓練,使用字元級 tokenizer、4 個 Transformer blocks、8 個 Query heads、2 個 KV heads,embedding size 為 256。
S-Agent 2.0 為通用編碼智能體整合持久場景記憶、自然語言解讀及 3D 感知工具,以提升空間推理能力。在 MMSI-Bench 和 ReVSI 上,搭配 Qwen3.8-27B 分別取得 66.5 和 82.3 分,搭配 Gemini-3.8-Flash 則取得 74.1 和 90.5 分。它亦可配合 Codex 和 Claude Code 等不同通用編碼智能體框架使用。
Ant Group 與 vLLM 社羣開源 Humming,一個面向量化推理的通用高效能 kernel 函式庫。它支援 Turing 及更新架構的 NVIDIA GPU 和 T-Head Zhenwu 810E,並涵蓋多種權重與激活值格式;程式碼庫為 github.com/vllm-project/humming。
PAR 改進循環語言模型的長度外推能力,在每次循環預測相應步驟後的狀態,並重新縮放隱藏狀態。在 swap-S5 任務中,0.5B 模型以最多 32 步的序列訓練,在 512 步達到 95.5% 完整狀態準確率;同一設定下,RLT 為 55.7%,CoT 為 0.8%。PAR 亦可只用最終答案監督訓練,毋須中間狀態標註。
Lafa 是一款大型連續流語言模型,透過區塊式流設計、自我投機解碼及多 token 預測,實現高效訓練、高品質生成與更快推理。模型以少於 30B tokens 訓練,涵蓋 0.5B、7B 和 8B 規模;在品質相若的情況下,自我投機解碼的吞吐量達自回歸模型的 2.54x。
文章比較 GPT-5.4、Claude Opus / Sonnet 4.6 與 Gemini 3.1 Pro 的規格、API 邊界、定價和評測方式,並涵蓋 DeepSeek-V4、Kimi K3 等開放權重模型。
Inception Labs 的 Mercury 3 採用擴散式語言生成,並行生成及反覆修訂多個 token,聚焦降低多步 AI 智能體工作流中的延遲。Inception Labs 公佈的數據包括在 NVIDIA GPUs 上達 1,068 tokens per second、1 million tokens 上下文,以及比公告中的對照模型快約 4–8 倍。
Sage-A1.5 是一款 35B MoE 智能體模型,透過自適應能力組合提升長期任務的問題解決能力。相較 A1,它能組織工作並在執行期間調整方法,並著重智能體協作、驗證及開放式科學探索。模型透過任務委派、進度檢查、證據驗證和策略修訂,支援協作且可檢視的科學研究。
文章指出,AI 不會取代數學家,但以大量快速解題為導向的做法,可能損害數學研究的理解、驗證與傳承。文章以 OpenAI 公開的 722 篇模型生成數學手稿為例,稱其中約 42% 完成 Lean 形式化驗證,多篇被發現有缺陷,官方撤回 3 篇、修訂 14 篇。作者主張改革評價體系,重視成果的清晰闡釋、驗證與知識整合,並強制標註 AI 使用情況。
OpenAI 發佈研究報告,介紹 GPT-6 Astra 等模型處理 COBOL、Fortran、Visual Basic 等低資源編程語言的能力,並公佈兩項相關評測結果。
TrendForce 預估,2026 年第四季度 DRAM 合約價按季上漲約 20%,低於第二季度約 80% 及第三季度約 40% 的升幅。AI 推理需求帶動伺服器 DRAM 和企業級 SSD 的容量與頻寬需求,記憶體廠商優先把產能投向 HBM 等高端產品,令傳統 DRAM 供應更緊張;高基數、終端市場購買力轉弱及長期採購協議的價格上限則限制升幅。
Inception 發佈旗艦模型 Mercury 3,稱其在自家 12 項基準測試中有 8 項勝過 GPT-6 Luna 和 Claude Haiku 5.5,速度達兩者的 4 至 8 倍。
Thore Graepel 在倫敦創立 AI 實驗室 Metis Reasoning,主張大型語言模型的推理不可信,並提出借鑑 AlphaGo 的推理方案。白皮書提出讓 AI 明確記錄已知資訊及其確定程度,並依據證據判斷新主張;Metis 尚未推出模型,也未公佈測試結果。
i14 與 AWS 使用 TorchNeuron Native 的原生 PyTorch 支援,在 AWS Trainium2 上訓練及推理 Laplace 3B,保留 Gated Linear Attention(GLA)架構。
Baichuan-M2 是採用 Apache-2.0 授權的開放權重醫療模型,授權費為零;經 4-bit 量化後可在單張 RTX 4090 上運行。模型有 32,76B 參數,HealthBench 得分為 60,1,高於 gpt-oss-120b 的 57,6 及 DeepSeek-R1-0528 的 53,6。MTP 變體的吞吐量提升 58,5%。
SF Compute行政總裁Evan Conrad在訪問中介紹,公司正建立雲端所需的營運能力,以交付市場交易的GPU算力,並將數據中心基建虛擬化、變得可編程。其實物交割把GPU世代、網絡配置及工作負載能否中斷等條件納入訂單匹配;Conrad稱,總容量約5%已放上訂單簿,公司亦已完成數億美元的交易量。客戶現可即時細分 InfiniBand fabric,無須要求 SF Compute 代為處理。
LLM2Cert 是一個以 LLM 驅動的框架,可合成穩定性與安全性證書,並透過 SMT 求解器或 Lean Proof-Repair agent 驗證。研究提出包含 105 個實例的 DynaCertBench,LLM2Cert 成功驗證 81 個,比例為 77.1%,較不帶回饋的一次性提案提高 17.1 個百分點。
LongZero 透過合成結構化多跳推理及檢索任務,並以 GRPO 訓練,讓大語言模型無需外部數據即可提升長上下文推理能力。研究在兩個大語言模型及五個長上下文推理基準上評估,結果顯示 LongZero 可泛化至真實任務,並勝過兩種基線方法。
Self-Assessment Reinforcement Learning(SARL)讓模型在訓練期間識別搜尋狀態、改善搜尋行為,無須在推理時額外評估。雙重獎勵設計鼓勵有效而高效的搜尋軌跡,SARL 較最強基線相對提升 24.3%,在多跳推理及深度研究基準上平均分別提升 35.9% 和 27.9%。作為獨立強化學習框架,SARL 在延長搜尋過程中仍能保持訓練穩定。
SparkLLM 發佈 Spark-X2.6-4B,並表示後訓練提升了編碼、Agent 工作流程、長上下文、多語言使用及推理能力。在思考等級設為 high 的公佈評測中,BFCL-V4 由前代的 65.1 升至 71.8,MCP-Atlas 由 54.6 升至 62.4,SWE Verified 由 41.6 升至 62.8;各基準排名不一,數據由發布團隊提供。
AWS 作者展示在 Amazon SageMaker HyperPod 上微調 GPT-OSS-20B,50 個測試案例中的指定語言推理正確率由基礎模型的 22% 升至 SFT 後的 100%。
Interconnects 第 25 期開放 AI 成果綜述聚焦中美監管動向、DeepSeek-V4.1-Flash-1017,以及多款開放模型與工具更新。中國商務部提出政策草案,要求前沿 AI 模型及部分技術在國際共享前獲政府預先批准,並稱開源技術將設自動審批;美國 DHS 則限制 DeepSeek 公司及其模型平台成為聯邦民事採購供應商。
DeepSeek 於 10 月 20 日開源內部使用的 DeepInfer 推理框架,採用 Apache 2.0 授權,首階段支援 DeepSeek-V4.1-Flash。
DeepSeek 開源的 DeepInfer 目前只支援 DeepSeek-V4.1-Flash,提供面向大規模服務的離線推理;文章梳理其功能及未涵蓋的服務元件。
文章用公式説明 KV cache 的 GPU 記憶體開銷,並比較 MHA、MQA 和 GQA 透過不同 KV head 數量影響快取容量。以 8k context 為例,文中設定的 Llama-2 7B 風格模型約需 4 GB,Llama-3 8B 的 GQA 約需 1 GB;同形狀、單 KV head 的 MQA 假設情境約需 0.12 GB,並非實測模型。
AWS 説明加拿大用戶如何透過 Amazon Bedrock 跨區域推理,存取 OpenAI GPT-5.6、GPT-6 和 GPT-6.1 Sol。