DeepMem 如何透過記憶壓縮序列以提升推理效率
DeepMem 提出因果多尺度 byte-level 架構,利用可逆子帶轉換、無損載體及快速權重記憶壓縮序列,並以注意力超解碼恢復 byte 級表示。相比匹配的 byte-level Transformer,DeepMem 在 FineWeb-Edu 和 PG19 的語言建模表現更佳,亦在受測 FLORES 語言中取得最高宏平均表現。
DeepMem 提出因果多尺度 byte-level 架構,利用可逆子帶轉換、無損載體及快速權重記憶壓縮序列,並以注意力超解碼恢復 byte 級表示。相比匹配的 byte-level Transformer,DeepMem 在 FineWeb-Edu 和 PG19 的語言建模表現更佳,亦在受測 FLORES 語言中取得最高宏平均表現。
NVIDIA、UT Austin 等機構的研究人員提出 Realtime-Bench,評測 12 款前沿模型在持續變化環境中的即時互動能力;GPT-6-Astra 的任務成功率最高為 44%。
DraMaze 透過多智能體流程及具未來感知能力的敍事記憶,提升長篇微短劇劇本的連貫性與多樣性。在最多 60 k words 的 60 集劇本中,因果模式重複減少 32.1%,Logic 得分達 82.5,較最佳基線高 8.5 分。移除未來感知敍事記憶後,Logic 得分降至 74.5,3-gram 重複率則由 9.22% 升至 12.2%。
Route Anything 提出統一框架,研究通用 AI 系統如何按任務動態選擇及協調專用模型與策略。研究涵蓋 25 項 benchmark、374,401 次評分執行及 452 種候選配置;逐輸入 oracle 路由較最佳固定候選高 5.4 分。學習式路由在 16 項 benchmark 高 0.3 分,並以少 24% 的 policy time,在平均效率上較參考模型提升 8.82x。
YANAMI 提出面向有狀態互動的大規模多模態對話數據集及基準,評估模型追蹤和實現跨輪次變化的對話狀態。YANAMI-400K 包含 400K 段多輪對話、超過 2M 張圖片及 2.6M 個對話輪次;以其微調 BAGEL,圖像編輯、生成及多模態有狀態互動能力分別提升 10.3%、2.0% 及 13.23%。評測顯示,現有統一多模態模型仍難以維持、更新並以視覺輸出實現變化中的對話狀態。
一項研究提出 UniForget,旨在統一多模態模型中同時抑制目標概念的生成與識別,並保留其他能力。研究亦推出 UUBench,涵蓋 30 個目標概念及 60 個語義相關概念;UniForget 在 BAGEL-7B-MoT 和 Janus-Pro-7B 上的聯合遺忘率分別為 80.0% 和 92.7%。分析顯示,聯合遺忘與能力保留之間存在取捨。
復旦大學、香港中文大學 MMLab 和上海交通大學的研究者提出 ReTerm,讓終端智能體保留自身執行失敗後的現場並嘗試恢復,再按任務結果更新模型。
論文提出 PrimeSim,一個以動作為條件的多視角世界模型模擬器,支援一致的長時程機械人模擬及策略最佳化。模型以 30,110 小時、涵蓋 22 個平台的機械人示範進行訓練,速度為 10.1 FPS,並在 100 至 200 個梯度步內遷移至預訓練骨幹無法遷移的平台。
研究指出,未綁定權重的門控語言模型若出現近零輸入嵌入,梯度可放大最多 35 個數量級並導致訓練不穩,論文提出 GroupClip 和 GateFloor 兩種修正方法。
Kling 的研究報告梳理多代影片生成中的多模態理解經驗,指出生成品質受數據、條件控制、對齊與評估整條鏈路影響。報告涵蓋 Kling-MLLM、描述密度與參考綁定、提示詞增強、感知式文本編碼,以及獎勵模型和任務專用自動評估。
Anthropic 發表研究項目 FlashProve,利用 zkSNARK 證明回應由指定模型權重生成,同時不公開權重。
DeepSeek 於 10 月 31 日發布技術提案,提出由 Router 協調、Workers 並行執行任務的超級智能體架構,旨在減少開發者管理多個 AI 編碼工作階段的時間。
MIT 研究人員提出 Weight-Space Programming,展示通用大型語言模型可直接讀取、解讀及修改神經網絡權重,而毋須重新訓練或使用梯度下降。
推薦理由:研究透過遊戲辨識、免訓練生成網絡及修改 Qwen3.5-0.8B 等實驗,呈現 LLM 直接讀寫權重的多種測試方式。
中國國際貿易促進委員會發布《全球知識產權保護指數報告(2025)》,中國以81.75分升至全球第六位,首次進入第一梯隊。報告涵蓋25個主要經濟體,新增人工智能技術相關專利申請量等指標;中國的知識產權保護績效連續多年位居全球第一。
清華大學自動化系的論文提出,通往 AGI 不應只擴大 System‑2,而要與輕量 System‑1 協同設計,預先篩選有價值的交互。理想情況下,算力可縮減至接近 $1/\rho_u$,但預測錯誤和探索需求會削弱節省效果。論文並提出以有效資訊算力,而非總算力,描述模型縮放規律。
一項跨框架測量研究發現,MCP 工具描述、Schema 欄位及工具回應中的攻擊者可控內容,會在缺乏驗證下進入模型上下文;研究測得整體攻擊成功率為 22.9%。研究測試 12 個框架、18 個模型及 45 種攻擊情境,並以真實工具執行確認結果;成功攻擊中,12.1% 確認外洩秘密。
《生成式人工智能基礎小書》以推導為主線,精簡介紹現代生成式人工智能的數學基礎。內容涵蓋 PCA、probabilistic PCA、變分自編碼器、擴散模型、正規化流、自回歸分解、GAN、Wasserstein GAN 和基於能量的模型。這份 195 頁的 v2 預印本加入全書視覺化解説。
Anthropic 正研究開源系統 FlashProve,透過加密證明核實指定輸出是否由特定 AI 模型生成。系統要求 AI 實驗室公開各模型的指紋,供日後核對輸出;指紋不會公開模型權重。研究人員已公開技術規格及系統多個部分的可運作程式碼,研究仍在進行,Anthropic 或其他實驗室目前均無部署計劃。
《生成式 AI 基礎小書:直觀數學入門》以直觀方式介紹生成式 AI 的數學基礎。原文未提供更多內容,無法確認涵蓋的主題或細節。
上海交通大學醫學院附屬仁濟醫院卜軍團隊與上海交通大學錢昆團隊,運用高通量質譜檢測和 AI 集成學習,分析中國 6 個中心 18,476 名參與者的血漿代謝組,描繪全生命週期特徵並開發代謝組年齡加速(mAA)指標。研究篩選出 56 個年齡相關代謝特徵;約 6 年隨訪中,mAA 每增加一個標準差,全因死亡風險約升高 50%,並與高血壓、脂肪肝及糖尿病等慢性疾病相關。
Liam Warner 與 Nicola Bodill 首次從 PHerc. 306B 古卷讀出可辨識文字,並獲 $50K First Letters Prize。
以 Google Play Apps 數據集分析 9,644 款應用程式後,遊戲類別下載量最高,佔總下載量 17.9%;免費應用程式佔下載量 99.92%。家庭類別佔估算付費收入 39.7%,但收入很大部分來自 Minecraft,剔除該遊戲後,估算收入由 $116M 降至約 $46M。數據是截至 2018 年 8 月的商店快照,下載量及收入均按下限估算。
History Forcing提出統一的 on-policy 蒸餾框架,利用歷史上下文殘差修正蒸餾目標,提升少步自回歸影片生成的長程一致性。在 1.3B 模型中,15s 影片生成的 VBench 質素分數為 85.07,60s 生成的 VBench-Long 綜合分數為 79.82。
FlyHash 用於 LLM 智能體記憶檢索,在位元數匹配及真實相關性標籤下,均比 SimHash 更能保留鄰近結構。這項優勢在 10 個隨機種子及涵蓋兩種模態的四個數據集上成立,但一般規模下 FlyHash 沒有實際記憶體或延遲優勢,HNSW 的表現更佳。研究同時發布實作及可運作的智能體記憶示範。
史丹福研究人員以 20 個模型檢驗 50 項廣受引用的 LLM 主張,發現 44% 已失效,另有 34% 明顯減弱。22 項可估算失效時間的主張平均只維持 15.7 個月;9 項推理相關發現均未維持或增強,其中 5 項已失效。
SLAC領導的研究團隊在錳碲(MnTe)中觀察到手性的直接實驗證據,支持異磁性作為第三種磁相的存在。研究團隊透過比較材料對左右旋圓偏振 X 射線的散射反應辨識手性訊號,並於 2024 年完成初次實驗、在 2025 年初重複實驗確認結果。研究指出,異磁性材料或可用於自旋電子學,相關應用包括量子技術、記憶體裝置和數據中心。
DreamFree 透過未來表徵蒸餾,構建無需生成未來影片的世界動作模型,並能隨影片模型規模及影片數據增加而提升控制表現。在 DROID 數據集上訓練後,DreamFree 在 10 項真實世界任務中取得 64% 成功率,高於 DreamZero 的 56% 和 π0.5 的 16%。其 14B 影片骨幹在單張 H200 上以 11 Hz 運行,推理速度較 DreamZero 快 17.8 倍。
CARTBench 評估大型語言模型對附時間線的複雜及含糊購物需求所提供的建議。基準涵蓋 17 個零售領域、1,603 條產品紀錄及 1,328 項專家標註準則。評測包括 7 款商用 API 模型(包括 GPT-6.1-Sol 和 Claude-Opus-5)及 35B+ 開放權重模型;10 款模型中,3 款 Core 得分超過 90%,沒有模型的 Excellence 得分超過 45%。
Micius-Flash 是一款面向工程的 27B 參數多模態推理模型,採用知識樹數據流程及多教師在線策略蒸餾訓練,支援 256K-token 上下文。在超過 20 個數據集、約 15K 筆記錄上,其硬件程式碼基準平均得分為 64.2%,較同規模基線高 15.0 個百分點;半導體智能體基準得分為 62.4%,高 17.2 個百分點。
Loopback Transformer 將殘差連接視為沿網絡深度運作的記憶,透過儲存區塊更新、幾何遺忘及內容相關注意力,重用先前計算。
Speculative Listening 是一種免訓練、無損的推測解碼框架,利用分塊交錯式全雙工語音語言模型的閒置運算,預先草擬並驗證後續音訊區塊。在八項任務的 TickTock-Bench 上,它令語音區塊加速 2.6-2.8x、工具呼叫區塊最高加速 23.4x,並將回應開始前的解碼延遲平均降低 73% 至 74-241 ms。
Open-HumanScale 論文提出擴展具身基礎模型人類影片預訓練的開放方案,並發布附有手部動作及自然語言密集標註的 50,000 小時 Open-HumanScale-50K 資料集。
MAEP 是一種免訓練的模態感知專家剪枝框架,按模態拆分專家重要性,以壓縮 MoE 多模態大型語言模型。實驗顯示,MAEP 在多數多模態基準上優於不區分模態的基線,文字任務表現亦具競爭力。它減少約 27 GB 的 BF16 專家權重,令約 58 GB 模型的完整權重可容納於單張 40 GB GPU。
D3D 論文提出獨立擴散草稿器,將草稿生成與目標模型驗證解耦,支援非同步推測解碼。它在七個基準上的平均解碼加速比為 Qwen3-8B 的 5.00×、Qwen3-32B 的 5.71×,高於 DFlash 的 4.03×和 3.67×,並在 GSM8K 上達到最高 7.48×。
Zuse 由 4B、9B 和 27B 三個決策模型組成,面向 27 種歐洲語言,以凍結的開放權重基礎模型為底座,訓練低秩適配器和指針頭。涵蓋 27 種語言、9 個任務組別的評測中,27B 模型準確率為 87.5%,整體期望校準誤差為 0.016。研究發現,校準偏差主要按任務而非語言區分,且超出訓練語言的表現受基礎模型所涵蓋語言影響。
TailSteer 是一種最終階段訓練框架,透過令早期去噪動態貼近基礎模型,並在軌跡尾段學習保留修正,減少多輪圖片編輯中的累積視覺漂移。FLUX、SenseNova 和 Qwen 系列的實驗顯示,TailSteer 在 15-20 輪編輯中大幅減少漂移,同時大致保留基礎模型在文字生成圖片及單張圖片編輯基準上的表現。
對 Hyper-Connections 架構的系統研究提出 SimpleHC,透過移除殘差混合及共用記憶體存取,在維持 mHC 相若表現的同時簡化架構。SimpleHC 在最大測試規模下,端到端訓練時間僅較標準殘差基線多 2.4%。模型由 15B 擴展至 30B MoE 時仍維持相若表現,訓練期間梯度變化較平順,並在壓力測試下保持穩定。
研究發現,視覺語言模型可透過與偏好無關的視覺任務,把教師模型的隱藏偏好傳給學生模型。研究涵蓋參數量由 2B 至 7B 的模型,在動物偏好任務中,學生模型選擇目標的比例最高比對照組高約 10 個百分點。即使模型選擇相同圖像,受偏好教師影響的學生模型,其解釋亦會使用更多與教師相同的詞語和短語。
SPILLWAY 提出一套防護工具使用型智能體提示注入的方法,分開處理目標准入檢查與輸入淨化。它只在工具輸出的目標值來自唯讀工具的型別欄位或符合固定委派規則時准入,並以固定規則移除指令式內容、保留移除片段作為證據。
DGP(Dynamic Gated Pathways)在每個 ViT 層與 LLM 層之間建立全連接路徑,並由各 LLM 層按自身語義狀態動態選擇視覺層。在 LLaVA-1.5-7B 基線上,DGP 在 SQA^I、MM-Vet、VizWiz 和 LLaVA^W 分別提升 +4.2、+3.3、+3.1 和 +3.1。