基於 Fisher 幾何的結構化置信度擾動對抗訓練
這篇論文聚焦以 Fisher 幾何進行結構化置信度擾動,將其用於對抗訓練。頁面目前未列出引用該論文的模型、數據集或 Space。
這篇論文聚焦以 Fisher 幾何進行結構化置信度擾動,將其用於對抗訓練。頁面目前未列出引用該論文的模型、數據集或 Space。
在 Qwen3-0.6B 和 Qwen3-1.7B 的模擬測試中,成本匹配時,只有權重至少為 6 bits,增加選項順序才勝過增加權重位元;6-bit 權重相對 fp16 沒有準確率損失。研究建議採用 6-bit 權重,並把餘下預算用於最多四種選項順序、每種一次推理;4-bit 權重下,平均四種循環順序可令 0.6B 準確率回升 12.6 個百分點。
Next-Concept Modeling(NCM)提出由粗到細的兩階段框架,以 Transformer 逐層生成離散編碼,並行預測每層所有編碼。
戴盟機器人團隊聯合廈門大學、南京大學、大灣區大學及復旦大學提出 Touch-R1,將強化學習用於跨感測器觸覺推理,論文獲 NeurIPS 2026 接收。團隊同時建立 TouchReason-1M 資料集及包含 4,800 組問答的 TouchReason-Bench。
研究提出 NarrativeBench,並評估 14 個大語言模型在跨語言多元資訊搜尋上的表現,發現現有模型未能可靠地協助用戶瀏覽不同敍事。該基準涵蓋 1,333 篇使用 23 種出版語言的新聞文章、23 個爭議議題及 460 個以 Reddit 為基礎的查詢,評估涵蓋 24 種查詢語言。即使用戶明確要求多元觀點,模型仍留下接觸競爭敍事的顯著缺口,並帶來迴音室、語言過濾泡沫及資訊差距的風險。
GTAGym 提供一套以 GTA V 任務為基礎的評測及強化學習環境,並設有 GTAVBench 基準。GTAVBench 包含九類共 103 個線上任務,以及 47 個使用 GTA V 圖像的射擊和狙擊任務;六款前沿大語言模型在 GTAVBench-AGI 的最佳整體準確率為 70.9%。
ProTEUS 結合序列、演化與結構表示、快速全原子預測及閉環實驗回饋,引導蛋白質演化並提升突變體活性。其全原子預測器速度比 AlphaFold3 快逾 10 倍,並在零樣本及監督式微調突變預測任務中超越既有模型。兩項針對醛脱氫酶和左聚糖蔗糖酶的閉環工程實驗,均獲得活性高於野生型逾 10 倍的變體。
MIRIX-2.0 是面向 LLM 智能體的多智能體記憶系統,無需微調,在 QA 和程序任務評測中兼顧準確度與效率。
HiVe-Mem提出多模態記憶框架,透過關聯圖擴展語義檢索結果,並按查詢組合不同形式的證據。三項多模態記憶基準測試顯示,該框架在不同基礎模型上均提升任務表現,與最有效率的競爭多模態基準相比,token 消耗減少約 90%。
研究團隊提出 TacitVLA,讓 VLA 模型學習生成推理文字,但動作輸出不必等待文字完成,速度最高可達顯式推理模型的 3.4 倍。在四個機械人操作及自動駕駛 benchmark 上,TacitVLA 的成功率與顯式推理相若;相同速度下,成功率較不含推理訓練的同一模型最多高 17 個百分點。
多倫多大學等機構團隊在 arXiv 發表《Self-Building Labs》,提出 SBL,讓 AI 透過數碼孿生識別實驗室能力缺口,並協調機械人完成真實化學實驗。
G-STAR 提出空間與羣組協同縮放框架,讓離散自回歸生成在深度壓縮下維持重建、理解及生成表現。固定名義資訊預算下,羣組大小應隨每軸空間壓縮因子平方增長,框架支援 32× 及有效 64× 壓縮。在五個文字生成圖像基準上,模型表現具競爭力;生成 1024×1024 圖像時,速度較以往離散自回歸模型快 20×,單張 NVIDIA H200 上每張需時 2.5 秒。
Apple 研究團隊披露人形機械人自主控制系統 HALO,並在 6 個未預先掃描或建圖的真實環境完成 360 次單項任務,平均成功率為 91%。系統採三層架構,任務編排預設使用 Qwen3.6-35B-A3B,動作生成使用 Qwen3.5-2B;研究團隊亦公開數據生成、模型訓練及部署程式碼。
JoVox 提出離散 Flow Matching 框架,聯合學習體素階層各層的分佈,讓較細單元參與較粗單元的預測,提升生成品質。相較目前的 SOTA TRELLIS.2,JoVox 的訓練吞吐量高 8 倍,單次前向傳播的 FLOPs 為其 1/15,使用 4 張而非 32 張 GPU 訓練,Chamfer distance 亦低 11%。
Memorilla 是一套供凍結式 LLM 使用的記憶系統,將整個文件集中的資訊整理成固定數量、依查詢而定的記憶 token。使用 16 個記憶 token 時,它在八項基準測試中的五項勝過 Mem0 和 MemoRAG;在 FactKG 上準確率達 84.33%,高於完整上下文推理的 80.43%,而表示來源文件所需的 token 少 108 倍。
ConceptTime 以凍結的機率預測器產生的預測驚奇切分時間序列,將片段聚類為動態概念,再按概念序列分類,並在證據不足時棄權。在 17 個公開基準上,它的準確度與黑盒最先進方法相若,勝過所有可解釋基準;在 Epilepsy 上僅用 1% 標籤仍維持接近 98% 準確度。整個方法無需標註、語言模型呼叫或領域專家。
MixUA 提出一套記憶系統,將獨立用戶-智能體互動軌跡提煉為經驗,按受益對象及可披露資訊分配至用戶-智能體配對、用戶、智能體或全局範圍。CrossLearnBench 評測顯示,在五名用戶和七個智能體的設定下,MixUA 的通過率較無記憶最多高 16 個百分點,較單一全局記憶高 5 個百分點。系統保留最多 90% 已表達偏好,而在違規範圍中探測到植入私密事實的隱私測試比例最高為 0.02%。
Deletion Tuning 在 LLM 後訓練中只將少於 0.05% 的權重歸零,便在可驗證獎勵強化學習、監督式微調及 on-policy 蒸餾三種設定下,達到與全量微調(FFT)相當的效果。其二元遮罩比相應 FFT checkpoint 小數百至數千倍,遺忘程度亦較低。強化學習中,其先前任務準確率維持接近基礎模型;FFT、LoRA 及隨機稀疏微調則最多下降 5.4 個百分點。
研究提出兩階段測試時擴展方法,先以快速基礎採樣器處理簡單問題,再對較難問題採用頻率感知重新遮罩,以分配推理計算並探索不同推理路徑。在 LLaDA-8B-Instruct 和 Dream-7B-Instruct 上,MATH-500 準確率最高分別提升 3.73 和 7.33 個百分點,HumanEval 覆蓋率最高分別提升 11.39 和 10.98 個百分點。
研究建立企業因應現金流衝擊而作出高成本競爭性調整的模型,探討產能配置對競爭對手及投資者未來折現自由現金流的影響。研究以多智能體模擬分析預測調整的方向和幅度,並透過語言模型相關性量度,使用 2018-2022 年 Nasdaq 上市公司的新聞及分析師報告驗證結果。
Muir 以敏感度分配閘控、匹配濾波讀出及穩定並行更新,改善線性注意力的語言建模、長上下文召回和訓練速度。在 166M-1.34B 規模下,其 perplexity 較 GDN-2 低 1.8-2.0%、較 Transformer 低 2.5-3.6%;1.34B 版本可由 4K 訓練長度外推至 10M-token streams,32K 訓練較 Transformer 快 2.7x。
研究探討以可訓練前綴 token 減少檢索嵌入向量中的表徵幹擾。提供的內容未載有其他研究方法或結果細節。
Scientist World 將論文轉化為可執行研究環境,並已發佈首批 1,000 個經核實環境。流程會抽取開放式研究問題,重現作者的方法作為基線,並按人類結果評估 AI 科學家。這為開放式研究提供可執行測試場景,但自動抽取及重現方法可能引入錯誤、收窄問題或洩漏解答,限制大規模評估的有效性。
NPCBench評估醫療AI模型能否整合專科知識與多模態證據,並在鼻咽癌患者的縱向診療路徑中維持診斷及照護決策連貫。基準收錄4,777項題目,以及包含100名患者、417項評分任務的CarePath隊列。在21個多模態模型中,嚴格CarePath成功率最高為23%;單項任務表現出色,不代表同一患者的診斷及照護答案能同時正確。
VFlash 透過 Flash Primitive Decoding,讓輕量 drafter 在一次 forward pass 中聯合預測視覺基元座標,加快物理 AI 任務的視覺規劃。
PhysioWave-T 論文提出面向 EEG、ECG 及 sEMG 的小波基礎模型系列,透過動態尺度折疊減少 token 數量。其 30M 參數 EEG 模型以超過 15M 個窗口預訓練;在四種 EEG 路線中,尺度折疊相較尺度擴展使 Transformer 延遲降低 4.0–7.2 倍、峯值記憶體降低 6.8–12.7 倍,準確度沒有下降。
KG-RAG4SM 透過從外部知識圖譜檢索相關子圖,改善 Schema Matching,並在無需重新訓練的情況下減少大語言模型幻覺。
Frontier3DBench以涵蓋物件、場景及互動開放世界創作的145項任務、9個類別,建立統一基準,評估編碼智能體在外觀、結構及行為方面的3D創作能力。11種模型與 harness 配置中,GPT-6.1-sol在物件和場景層面領先,總分最高為66.02/100;GPT-6-astra則在互動世界建構領先。
OmniLatent 以共享潛在空間聯合編碼幾何、形變、外觀及二元部件 ID,從單張圖像生成具部件感知能力的 3D 資產。模型可在單次推理中生成幾何、形變、紋理及表面部件 ID,並支援互動式分割、細化、部件細分及遮擋部件補全。
Energy-Based Reasoners(EBRs)以能量函數及其梯度引導循環式潛在推理狀態更新,並提供停止訊號。在四項算法推理基準中,EBRs 的表現媲美或優於先前的循環式推理模型,在 Sudoku-Extreme 達到 99.9% 準確率,所用推理計算量比次佳模型少 345 倍。在所有多解基準中,EBRs 均達到最先進的不同有效解覆蓋率,同時維持接近 100% 的單次樣本準確率。
LiveFoley 提出串流因果自回歸擴散架構,以極低延遲改善影片轉音訊生成的視聽對齊和音訊質素。Trailing Sliding Window 可將非因果分段編碼器轉為串流模組,而 Unified Varhop Framework 適應不同延遲和運算預算。實驗顯示,LiveFoley 的時間對齊能力媲美離線模型,生成質素領先串流系統。
SplatAnything 探討以高斯間距正規化,讓前饋式 3DGS 適用於任意場景。頁面列出這篇論文的 arXiv 識別碼為 2611.08264。
一篇 ArXiv 論文指出,程式碼簽署及靜態政策無法防止 MCP 工具把資料外洩至政策允許的目的地,並提出 germline execution,隔離每次工具呼叫的資料流。在 153 次攻擊測試中,該方法阻止所有未授權資料披露;基線防禦仍有 5.9-74.5% 的攻擊成功。由單一副本處理的呼叫需時 10-49 ms,較每次重新啟動工具快 2-28x。
華中科技大學王興剛團隊與地平線機器人等機構提出 Multimodal Flow,以全連續架構和共享 Flow Matching 目標統一語言與視覺建模。從零預訓練的 MF-1 有 1.6B 參數,使用 150B Tokens;GenEval 得分為 0.821,VQAv2 得分為 72.6。受控對比顯示,Multimodal Flow 在同等數據與參數預算下,整體表現超越混合式及全離散架構。
多輪智能體強化學習對 LLM 智能體的提升取決於互動回合預算;預算收緊時,軌跡層級強化學習的優勢會顯著減弱,且不會普遍提升單步決策品質。其主要優勢在於錯誤恢復及長時程韌性;BudgetMix RL 在訓練期間改變互動預算,實驗顯示其在不同執行設定下表現穩健。
FrontierPhysics 以 56 項專家設計的任務,評估 AI 智能體從文獻回顧、研究規劃到實驗及論文撰寫的端到端物理研究能力。任務由 42 位物理學家設計,涵蓋理論、計算及實驗物理的 9 個領域。測試 22 個模型的 26 種配置時,沒有配置在 168 次 rollout 中通過多於 46 次;主要弱點是推理欠嚴謹及專家直覺不足。
研究檢視智能體 harness 演進能否在不更新模型權重的情況下實現遞歸自我改進,並評估較高的 benchmark 分數是否帶來可靠、高效且可遷移的改進。16 個演進後的智能體都新增了先前未覆蓋的任務,同時失去部分已覆蓋任務;多數可靠性提升亦增加部署成本。研究提出 EvoAudit,將診斷結果轉化為對 select、analyze、mutate 和 gate 的修訂,並取得最佳表現。
對抗式推測解碼透過訓練草稿模型拒絕關鍵推理 token,讓目標模型在較低數值噪音下驗證這些 token,提升長時程智能體的推理準確度。複雜智能體編碼基準測試顯示,此方法不改變目標模型或其輸出分佈,只需訓練託管參數的 0.06% 至 0.28%,即可提高端到端成功率。
兩項新研究發現,刪除編碼智能體的舊工具輸出雖可縮短提示,卻可能破壞提示快取並增加未快取輸入成本。在一項研究中,Mask-5 將每項任務的提示 token 數減少 33.3%,但未快取 prefill 增加 608.5%;另一項研究按計入快取的價格計算,42 種設定均沒有降低成本。作者建議按每次呼叫檢查快取讀取、快取寫入和未快取輸入;快取本來沒有命中,或只在較大批次中偶爾修剪時,修剪才較可能省錢。
StartLux、香港大學與南方科技大學的研究者提出 StartLux-Decision,提供單次預測版本 Instant 及按需推理版本 AutoThink,兩者透過統一的選項機率介面輸出決策結果。