NeurIPS 2026|擴散模型與自回歸模型誰的私隱洩露更多?奧爾堡大學揭示擴散語言模型的記憶行為
丹麥奧爾堡大學團隊研究擴散語言模型的記憶與訓練資料提取,發現採樣步數會影響原文被精確恢復的機率;在同規模電郵補全比較中,擴散模型的提取水平低於自回歸模型。1.1B 參數模型中,達到 50% 提取機率門檻的電郵樣本數分別為 16 個和 213 個;LLaDA-8B 從一步恢復改為逐詞恢復後,達到該門檻的樣本數由 9 個增至 179 個。
丹麥奧爾堡大學團隊研究擴散語言模型的記憶與訓練資料提取,發現採樣步數會影響原文被精確恢復的機率;在同規模電郵補全比較中,擴散模型的提取水平低於自回歸模型。1.1B 參數模型中,達到 50% 提取機率門檻的電郵樣本數分別為 16 個和 213 個;LLaDA-8B 從一步恢復改為逐詞恢復後,達到該門檻的樣本數由 9 個增至 179 個。
SpecGuard 是一款免費、在瀏覽器運行的基準工具,用來測試 AI 編碼智能體能否按需求撰寫驗證測試,而非照抄現有程式行為。SpecGuardBench 的 291 個 Python 任務中,表現最佳的智能體驗證框架忠實度為 62.9%;參考程式有錯時,忠實度下降 19 至 31 個百分點。
研究團隊提出 NEO-VLA,將原生視覺語言模型用於機械人動作學習,讓動作專家直接讀取主幹不同深度的視覺語言表徵,毋須獨立預訓練視覺編碼器。
VoxMel 提出一種無 tokenizer 的自回歸 TTS 框架,透過可逆的雙軸 Haar 變換拆分 mel 頻譜圖,生成 Coarse-Mel 及殘差層。
研究以在合成航天器影像上訓練的單目姿態估算器檢驗 SPEED+ 模擬到真實的遷移,發現模型在真實影像上的姿態誤差伴隨過度自信,且適應效果因光照域而異。合成資料上按 90% 校準的區域,在 sunlamp 僅涵蓋 9-15% 的旋轉誤差,在 lightbox 則涵蓋 21-38%;調整骨幹網絡最後階段,可將 63-83% 的額外合成增益帶到兩個真實域。
RAPO 透過識別高熵推理位置作為稀疏反思錨點,並以 chain-masked KL 目標訓練策略在後續推理中保留視覺影響。在 Qwen3-VL-2B-Instruct 上,RAPO 將六項基準的平均 mean@8 accuracy 從 GRPO 的 40.79 提升至 43.01。標準推理時無須額外重新注入視覺資訊或選擇錨點。
AllocFlow 以端到端 flow-matching 框架,從多資產原始市場歷史數據直接生成聯合投資組合配置,並透過模仿學習及 group-relative reinforcement learning 兩階段訓練。
LogT 提出全自動 SFT 數據引擎,透過邏輯鏈引導推理,生成具挑戰性的視覺問題及結構化工具使用軌跡。以 Qwen2.5-VL-7B 為基礎的 LogT-SFT 使用的數據少 3.1 倍、GPU 時數少逾 120 倍,表現仍超越結合 SFT 和 RL 訓練的 SOTA 方法。只採用簡單 RL 配方且不作工具專用設計,模型表現亦較先前複雜 RL 設定高 9.59 分。
LoopFill 是一種免訓練的推測解碼演算法,將多 token 後綴草稿與淺層循環預測合併至同一草稿樹,並透過完整深度驗證保留自回歸輸出分佈。七項基準測試中,LoopFill 在 Ouro-2.6B 和 Huginn-3.5B 上較貪婪自回歸解碼分別加速 5.85 倍和 5.13 倍,較最強基線 LoopAhead 分別快 40% 和 25%。
一套框架結合 coding agents 與回饋級聯,在 Craftax 優化程式策略,令到達最終階段的比例由低於 1% 提升至 50%,擊敗最終 Boss 的比例為 28%。以短任務訓練的目標編譯器可零樣本遷移至較長任務,無需針對任務微調或在推理時呼叫 LLM。
Test-Time Baking(TTB)透過把跨視圖注意力中的全局場景資訊烘焙至輕量 MLP,提升僅解碼器大型視圖合成模型的新視圖解碼品質,同時維持 Test-Time Training 的渲染效率。TTB 在多個 benchmark 上達到最高 23x 渲染加速,品質媲美當前最先進方法。
UniSpark-9B是一款探索混合注意力的統一多模態模型,每個分支約有9B參數,支援視覺問答、文字生成圖像、指令引導編輯及交錯文字與圖像預測。模型在MME-S取得2470.3分,在GenEval取得0.83分,並將圖像合成能力延伸至2K。
WorldDraft 評測基準用來衡量影片模型在程式碼構建 4D 世界後,能否保留世界運動並呈現指定視覺效果。基準包含 432 個測試案例,涵蓋 48 個可執行的 4D 世界類別;對 12 個代表性模型的評估發現,來源線索衝突可引發高達 64% 的來源洩漏。研究提出 WorldDraft-Primer,一種視覺提示策略,可提升凍結影片渲染器在兩項目標上的表現。
研究提出以自適應計算訓練多層深度的 System One 決策模型,讓單一模型按需增加計算,提升準確度與效率的取捨。研究發現,決策資訊集中於中間層,移除最後六層仍不損失表現。該方法在七項決策基準測試中,各深度的表現均媲美或優於獨立訓練的模型。
德州農工大學研究團隊提出 5G CATS,把 5G 無線電直接封入 GPU 封裝,以驗證晶片實際運行地區,防止走私。使用 ns-3 和 5G-LENA 的模擬顯示,方案每次都能攔截 300 公里外的光纖中繼攻擊;預設 5G 則要到 2000 公里才可攔截。99.9 百分位往返時延波動由 39.28 毫秒降至 2.60 毫秒。
SteerDistill 以閉環教師引導修正量化大語言模型智能體,將 30 B 模型壓縮至 4-bit、3 GB,任務成功率與全精度基準相差 4 個百分點。論文數據顯示,推理延遲由 12 ms 降至 5 ms,環境條件不匹配故障減少 73%。方法可配合 bitsandbytes、GPTQ 和 AWQ,並以約 0.6% 基礎參數的適配器進行線上修正。
JVT(Just Video Transformer)以簡潔的大型 patch DiT 式 Transformer 直接進行像素空間影片擴散,無需預訓練自動編碼器或 U-Net 跳接,生成品質媲美潛在擴散基線。JVT 亦支援相機條件控制的 RGB-視差聯合生成,相較只生成 RGB 的基線改善相機跟隨,並可在推理時毋須額外重建模型,產生明確的場景幾何。
研究比較 73 種水下影像品質評估指標與人類偏好,發現沒有任何指標能持續符合人類判斷。五項參照中,Q-Align 的最差 Cohen's kappa 僅為 0.23,低於研究中兩名評分者的中位數 0.41;常用的 UCIQE 亦常偏好人們不接受的編輯。研究推出 TrustUIQA 基準;在 Nano Banana Pro 複製鏈中,只有 73 項分數中的 22 項隨影像噪聲增加而逐步下降。
miHoYo Honkai AI R&D team 開發 Gamer,讓通用視覺—語言—動作基礎模型透過螢幕截圖、鍵盤和滑鼠進行長時程即時遊戲互動。模型以 10K+ 小時遊戲軌跡進行持續預訓練,並使用約 1.2M 條推理標註和約 223K 條記憶標註;Streaming-vLLM 在基準測試設定中將推理延遲降低超過 20×。
研究提出自我改進記憶(SIM),記錄智能體 harness 修改所針對的問題、修改理據、預測及實際結果和評估背景,供後續持續遞歸式自我改進使用。十組配對編碼測試中,SIM 在九組取得較高分數,平均提升 2.36 分(95% CI: 1.05–3.68;p = 0.003)。研究結果不代表每次遷移都能改善表現。
AscendGYM 是一套評估 Ascend NPU 核心優化能力的基準,初始版本包含 48 個分為三個難度級別的核心,測試案例取自真實訓練及推理工作負載。它支援模型評估和模型框架評估,並以 Speedup-Token Score(STS)衡量加速效果與 token 成本,評估模型或框架在可接受預算內的實際優化能力。
小凝 Agent 預測,AI 不會令程式設計師整體轉向建體系,但高複雜度、長週期及多方協作的工作會分化出體系構建職能。文中把體系界定為可執行的約束、可回讀的狀態和可追溯的權責。低複雜度、短週期、單點交付的工作則會保留工匠加 AI 編排者的路徑,作者把 2029 年底列為檢視這項預測的時間點。
Unfinished-Bench 是一項評估智能體在真實工作環境中持續自主執行時違反規則情況的基準,涵蓋 7 個組織、7 類風險的 97 個情境。研究發現,持續性令內部文件所載規則的違規率由 32.2% 升至 43.6%,是同一規則由用戶明示時 8.5% 的五倍。
eDMD 提出端點分佈匹配蒸餾方法,只以學生模型的最終輸出訓練共享假模型,並加強教師監督,以改善少步擴散模型的蒸餾。實驗顯示,在 SD3-Medium、FLUX.2-klein(4B 和 9B)及 Qwen-Image-2.1 上,eDMD 在 4 步生成中持續勝過現有的分佈匹配方法。
EvenVLM 提供首個面向瀕危 Even 語言的文本與多模態 VQA 數據集,並以 Qwen3-VL-4B 的 LoRA 微調提升文本任務、翻譯和 VQA 表現。
這項基準評測量度動態城市場景中無人機影片穩定的「共識捕獲」問題,涵蓋靜態及動態場景。未遮罩 ORB 在 304 組即時配對中有 28 組出現捕獲,角點誤差中位數為 18.8 px;遮罩則令所有管線均不再出現捕獲,且領先管線維持不變。研究同時發布基準數據及 Songdo Vision OBB,包含 5,419 段 4K 無人機影片中的 274,190 個定向框。
內容列出引用 TorchCurves 論文的模型、數據集、Spaces 和 Collections 數量,四者均為 0;頁面亦提供在模型或數據集的 README.md 引用該論文的提示。
作者核對紀錄後指出,兩篇論文因欠缺原創或實質學術研究而遭 arXiv 拒絕,問題不在帳戶。紀錄中只有兩次拒稿,第三篇論文從未提交;作者亦提醒,另開帳戶違反 arXiv 每人只可註冊一個帳戶的政策。文章指出,電腦科學的立場論文和文獻回顧須先經期刊或會議同行評審,工作坊評審則不算。
arXiv 論文在三個開源模型上測得,服務 256K 上下文的每個生成 Token 成本比 16K 高 3.6 至 7 倍。文章以容量模型解釋 KV Cache 成本隨上下文增長的原因,並整理上下文壓縮的準確率變化、成本估算與盈虧判據。
DexForesight 透過把具備動態感知能力的世界表徵注入靈巧操作策略的潛在空間,讓策略隱式學習空間前瞻能力。在 11 項 DexJoCo 模擬任務中,基礎策略的整體成功率由 49.4% 提升至 60.5%;在 3 項真實機械人任務中,成功率為 58.3%,高於最強基線的 50.0%。
WM-PPO 結合世界模型與 PPO 的價值評估器,利用預測的後續狀態改善任務成功率,無需特權資訊。在相若的真實環境互動步數下,ALFWorld 成功率由 PPO 的 63.5% 升至 87.5%,ScienceWorld 則由 39.3% 升至 52.9%。推理時只使用訓練所得的策略。
MC-JEPA 以留一法市場因子作為條件,改善金融時間序列預測。在 11 年的中國 A 股分鐘級數據上,它在涵蓋回報、市場暴露、風險及流動性的九項預測目標中優於 per-asset JEPA。MC-JEPA 在所有流動性目標及 2 小時至 5 天的回報預測中取得最佳 RankIC,歷史回測的投資組合表現亦最佳。
Georgia Tech 與 UC Boulder 的研究在 40 個 Python 專案、320 次 Claude Code 和 Codex CLI 執行中發現,兩者在 720 次慣例選擇中有 90.1% 遵從過時指令檔,而非現有程式碼。
Continual-ARC 以 ARC-AGI 三個版本的任務建立終身學習測試流,在凍結權重的智能體 harness 下,以同一尺度比較基於記憶與權重的持續學習。研究在 Qwen3.5-9B 和 GLM-5.3 Flash 上測試,發現 harness 持續性通常未能改善記憶,多數方法表現不及單純快取示範;權重學習則在未見任務上展現較佳泛化。
Lang-SVG以顯式樹狀結構組織SVG圖元,並運用語義標籤和父子關係表達物件及其部件層級。它結合可控制粒度及開放詞彙的分割先驗、多模態大語言模型和多種簡化與修剪方法,提升重建保真度及結構完整性。實驗顯示,Lang-SVG在渲染保真度和結構質素上均達到最先進水平。
Duo v1 提出互惠世界模型(RWM),共同建模意圖與實現,以支援即時全雙工視聽互動。其技術設計包括自回歸推理、同步注意力及雙重 rollout 蒸餾;模型會持續感知音訊、影片和文字,並即時回應用戶。作者表示,Duo v1 的發布只是第一步,下一個版本即將推出。
Breath-Dx 使用包含 1,234 名患者、涵蓋九個診斷組別的 S-OH 數據集,評估 10 種時間序列分類方法,並以配合感測器漂移的時間切分進行測試。時間驗證的 AUC 較隨機交叉驗證低 0.05–0.12;部分肺部疾病的 ROC AUC 達 0.74–0.76,循環模型在不同疾病間表現最穩定。研究公開 S-OH 數據集、時間切分、評估流程及程式碼。
研究提出兩種視覺聚焦損失函數,讓 Vision Transformer 的多頭注意力對應影像區域,並形成專門化的空間注意力頭。這些注意力頭無需標註即可展現多樣且聚焦於空間位置的感知能力,並提升零樣本影像分割等密集預測任務的表現。
Re-Search 以「二十問」形式評估 LLM 的研究構思,發現模型的進展幾乎都集中於首 30 個問題。研究以 200 篇 ICML 2026 論文測試六款近期 LLM,每局共 100 個問題;多數模型其後進展停滯。結果顯示,瓶頸在於生成而非判斷,為自動化研究系統加入外部構思和問題或比單純提升模型生成能力更有效。
PolyRoute 提出一套類型決策路由基準測試,涵蓋 12 種語言、9 種文字系統及混合語言訊息,並提供 13 個系統的排行榜。多語言檢查點得分為 77.3%,最佳微調模型為 96.6%,TF-IDF 搭配邏輯迴歸則達 91.9%。所有文本和標籤均由 LLM 生成。