Factorized MLLM Embeddings:用於組合式圖像檢索的分解式嵌入
FactEmbed 以分解式 MLLM 嵌入改進組合式圖像檢索,將組合查詢理解與判別式嵌入構建分開。模型透過分解式潛在表示模擬預期的視覺修改,並在檢索前將表示對應至目標語義;評測顯示,FactEmbed 在多個組合式圖像檢索基準上勝過先前方法。
FactEmbed 以分解式 MLLM 嵌入改進組合式圖像檢索,將組合查詢理解與判別式嵌入構建分開。模型透過分解式潛在表示模擬預期的視覺修改,並在檢索前將表示對應至目標語義;評測顯示,FactEmbed 在多個組合式圖像檢索基準上勝過先前方法。
VidUEU-Agent 是一個數據整理框架,可從原始影片自動構建用於多模態理解、圖像編輯及統一理解與生成任務的指令數據。團隊以 8,268 段影片構建 VidUEU-100K,包含近 20,000 條密集中繼資料標註及 100,000 個指令樣本。框架透過四輪訓練及評測結果調整數據分佈,每輪以 30K 個樣本從同一初始檢查點微調 BAGEL,三個反饋基準的整體表現均有提升。
FlowTranslator 是一個無需訓練的圖像內機器翻譯框架,利用擴散軌跡控制在保留周邊視覺脈絡的同時,於圖像中生成譯文。在 EasyOCR 回讀測試中,其平均 PRIM BLEU 和 COMET 分數分別為 20.6 和 57.2,優於採用訓練的基線 UniTranslator。
Route Anything 提出統一框架,研究通用 AI 系統如何按任務動態選擇及協調專用模型與策略。研究涵蓋 25 項 benchmark、374,401 次評分執行及 452 種候選配置;逐輸入 oracle 路由較最佳固定候選高 5.4 分。學習式路由在 16 項 benchmark 高 0.3 分,並以少 24% 的 policy time,在平均效率上較參考模型提升 8.82x。
一項研究提出 UniForget,旨在統一多模態模型中同時抑制目標概念的生成與識別,並保留其他能力。研究亦推出 UUBench,涵蓋 30 個目標概念及 60 個語義相關概念;UniForget 在 BAGEL-7B-MoT 和 Janus-Pro-7B 上的聯合遺忘率分別為 80.0% 和 92.7%。分析顯示,聯合遺忘與能力保留之間存在取捨。
研究指出,未綁定權重的門控語言模型若出現近零輸入嵌入,梯度可放大最多 35 個數量級並導致訓練不穩,論文提出 GroupClip 和 GateFloor 兩種修正方法。
清華大學自動化系的論文提出,通往 AGI 不應只擴大 System‑2,而要與輕量 System‑1 協同設計,預先篩選有價值的交互。理想情況下,算力可縮減至接近 $1/\rho_u$,但預測錯誤和探索需求會削弱節省效果。論文並提出以有效資訊算力,而非總算力,描述模型縮放規律。
一項跨框架測量研究發現,MCP 工具描述、Schema 欄位及工具回應中的攻擊者可控內容,會在缺乏驗證下進入模型上下文;研究測得整體攻擊成功率為 22.9%。研究測試 12 個框架、18 個模型及 45 種攻擊情境,並以真實工具執行確認結果;成功攻擊中,12.1% 確認外洩秘密。
《生成式人工智能基礎小書》以推導為主線,精簡介紹現代生成式人工智能的數學基礎。內容涵蓋 PCA、probabilistic PCA、變分自編碼器、擴散模型、正規化流、自回歸分解、GAN、Wasserstein GAN 和基於能量的模型。這份 195 頁的 v2 預印本加入全書視覺化解説。
《生成式 AI 基礎小書:直觀數學入門》以直觀方式介紹生成式 AI 的數學基礎。原文未提供更多內容,無法確認涵蓋的主題或細節。
TailSteer 是一種最終階段訓練框架,透過令早期去噪動態貼近基礎模型,並在軌跡尾段學習保留修正,減少多輪圖片編輯中的累積視覺漂移。FLUX、SenseNova 和 Qwen 系列的實驗顯示,TailSteer 在 15-20 輪編輯中大幅減少漂移,同時大致保留基礎模型在文字生成圖片及單張圖片編輯基準上的表現。
KAIST 的微調方法 CluSTER 透過挑選具代表性的訓練數據,將一次 10 小時的訓練縮至約 3 小時,測得效能幾乎不變。報告的最高節時幅度為 69.6%;31% 是醫療問答實驗所用的數據比例,並非通用值。測試涵蓋 7B 和 13B 模型及八項基準。
研究發現,題目旁加上紅色愛心後,模型在二叉樹遍歷題中會由迭代寫法轉用遞迴。論文記錄 GPT-5.4 有高達 74.7% 的樣本出現不忠實歸因,即推理解釋與實際行為明顯脱節。文章指出,可在其他條件不變下替換疑似無關元素,累積足夠樣本比較輸出,以檢查其是否造成系統性偏移。
過程感知評測主張智能體評估報告應並列呈現結果分,以及工具使用、記憶、規則遵循和多智能體協同四項能力診斷,避免只憑成功率判斷候選。文中引述 arXiv:2610.09872 的 LiveMACEBench,指出跨 30 天的演化環境中,相近結果可能來自差異很大的底層能力。文章以構造數據示範如何拆分報告並標記背離行,並指出診斷維度及判定門檻須按實際場景設定。
商湯研究院、香港科技大學 MMLab、斯坦福大學及清華大學智能產業研究院的研究者提出 MT Forcing,以改善多輪圖像編輯中的畫質退化與內容漂移。SenseNova-U1.5 使用該方法後,第八輪指令遵循分數由 4.52 升至 9.17,內容一致性分數由 3.22 升至 7.68;畫質抗漂移分數則在八輪維持 4.20—4.35。其八輪幾何位移均值由 6.34 像素降至 0.74 像素。
Zyphra 推出 Zyphra Hierarchical Attention(ZHA),以樹狀索引器搜尋 KV cache,讓稀疏注意力的索引過程不再掃描整個上下文。
Halley 是一套面向 AI 數據中心光學網絡的預測控制框架,透過預測故障及預先調度資源,在形式化保證下提升有效吞吐量。模擬顯示,若失去耗盡備用資源的時段,有效吞吐量由 65.2% 升至 76.5%;若只損失暗通道頻寬,則達 67.4%。在維持相同訓練量下,數據中心容量最多可減少 3.3–14.7%。
一項刊載於 arXiv 的研究報告,污染 0.1% 預訓練資料即可在 AI Agent 植入可觸發遠端程式碼執行(RCE)的後門。研究團隊從零預訓練 0.6B、1.7B 及 4B 參數模型,再進行標準後訓練;4B 模型的攻擊成功率約 92%,而污染比例低至 0.0005% 時仍可觸發攻擊。
推薦理由:研究把 CLI Agent 的後門風險延伸至預訓練資料來源,並公開程式碼與評測方法,為檢視資料供應鏈防護提供具體測試依據。
SphereFlow 將各模態投影至共享超球面潛在空間,透過流匹配及幾何感知調整,根據已觀察模態合成缺失模態。在 BraTS 多模態 MRI 補全及 CT-MRI 轉換實驗中,SphereFlow 的生成保真度在所有設定下達到最先進水平;使用補全數據進行下游腦腫瘤分割,與完整模態基準的差距縮小約 80%。
HERIT 利用結合檢索增強生成(RAG)的領域適配流程,從大量漢字—韓語語料生成偽標註數據,減輕時間偏差並提升不同歷史時期的翻譯準確度。模型亦翻譯了檔案中此前未有譯文的部分,讓全球研究人員能夠取用相關史料。
研究發現,用於 RL 後能力整合的 On-Policy Distillation(OPD)及 Multi-teacher On-Policy Distillation(MOPD)未能充分保留模型的分佈外(OOD)泛化能力。
Stanford 研究指出,語言模型強化學習後訓練時,以標準 round-to-nearest 將 fp32 主權重轉成 bf16,會令每步超過 99% 的參數更新無法反映在推理引擎使用的權重中(arXiv:2610.41073;程式碼:github.com/andrewgcodes/faircast)。
南洋理工大學等機構的研究團隊在 NeurIPS 2026 發表 MemSkill,將記憶操作封裝為可學習、可重用和可進化的 Memory Skills,並透過任務回饋改進技能選擇及技能庫。MemSkill 在長期對話問答與具身交互評估中,於 LLaMA 和 Qwen 基礎模型上取得表列最高的 L-J 分數及 ALFWorld 平均成功率;相比 LightMem,LLM 調用量下降近七成。
BEND 2.0 評估 DNA 語言模型預測突變效應及指導序列設計的能力,結果顯示線性讀出可媲美或超越模型原生輸出,功能性後訓練亦能提升表現。基準涵蓋五個實驗數據集的八項任務,模型選擇及表徵取得方式都會影響表現。模型在情境特定效應及多細胞目標設計方面仍有改進空間。
ID2Pattern 以身份行為模式而非身份值進行預訓練,讓支付風險模型可從交易序列學習,並推廣至推理時首次出現的卡片。框架以 Local Anonymous ID(LAID)編碼身份在序列中的重現模式,再用向量量化從無標籤交易序列預訓練多尺度模式碼本,供風險評分使用,無須為新身份擴大詞彙表或重新訓練。
京東零售視覺多模態與 AIGC 團隊聯合南京大學提出 Road MOPD,透過跨教師回饋與梯度投影,減少多教師蒸餾中的跨領域更新衝突。在 Qwen3-4B 上,相較 Vanilla MOPD,數學+醫學及程式碼+醫學兩組高衝突設定均實現雙域共同提升,醫學均分最高提高 8.78 個百分點;數學+程式碼組合亦有提升。
這項研究提出以人為本、受風險約束的金融文件識別評估框架,衡量系統能否保留支援個人及機構決策的金融事實。框架以關鍵欄位錯誤的非補償式驗收門檻,以及考慮剩餘風險、人手覆核容量和成本的選擇性自動化,避免整體分數掩蓋嚴重錯誤。研究屬理論及方法論貢獻,沒有提出新模型、數據集或實證性能結果。
OpenAI 早前在 GitHub 一次過發布逾 700 篇完全由 AI 生成的數學預印本;數學家 Frank Calegari 稱此為數學史分水嶺,但批評論文寫作差、違反引用慣例,部分有錯。Calegari 認為這批論文顯示 AI 已能在多個數學領域作出突破性貢獻,但對數論部分重要難題影響甚微。他建議學界調整招聘、論文出版及學生培訓方式,以制度回應 AI 對數學研究的改變。
OpenAI 早前在 GitHub 一次發布逾 700 篇完全由 AI 生成的數學預印本,數學家 Frank Calegari 認為這是數學史分水嶺,但指部分論文有錯且寫作欠佳。他亦指論文違反引用及歸功慣例,並主張學界調整招聘、出版及學生培訓方式,以應對 AI 對數學研究的改變。
研究提出柏拉圖表徵定理:若正樣本配對是同一場景的不同觀測,且其他情況下錯位有界,分開訓練的多模態 JEPA 可學得僅相差一次旋轉的相同表徵。研究以 145k 條圖片説明及 940M 張網頁圖片的文本驗證理論,並發現良好視角達到同等對齊所需樣本比下一 token 預測少 42 倍。
VidDub 是一款兩步擴散影片配音模型,採用替換感知跨音訊監督,避免來源嘴部動作與替換語音目標衝突,並兼顧唇形同步和視覺保真度。在三個訓練種子中,遮蔽衝突的來源嘴部重建令 cross-audio Sync-C 提升 0.833;最終模型以 2 NFE 在四項基準測試中展現唇形同步、視覺品質、身份保留及視覺語音識別表現。
Recursa 是一種透過遞歸學習自身經驗、適應新領域的自我改進基礎模型系統。它以知識庫儲存技能、指示、過往任務經驗及反思,並由並行學習器提出改進,再驗證及合併成果,無須人類監督或更強教師模型。
Disen-Forcing 是一種用於自回歸影片擴散模型的蒸餾方法,透過解耦注意力頭的專門分工,改善長時段影片生成的長程一致性與動態表現。研究指出,只有一部分注意力頭負責長程一致性,沿用 frame sink 讓所有注意力頭接觸固定的初始影格,可能令模型在蒸餾時偏向低動態模式。長時段影片生成基準測試顯示,Disen-Forcing 能同時改善一致性與動態表現。
一個用於回答股市查詢的 RAG 系統,在 100 條股市相關查詢的數據集上測試,ROUGE-1、ROUGE-2 和 ROUGE-L 均取得高分。系統平均回應時間為 1.16 秒,研究以此評估回應速度。
Kev-Bio 是一個視覺語言模型,透過臨牀測量問題引導超聲波標記點偵測,並生成空間概率圖以推導測量結果。在九視圖 FU/GU Biometry 2026 數據集上,模型的平均徑向誤差為 22.50 pixels,臨牀測量平均絕對誤差為 15.38,整體表現優於比較基線;程式碼及模型可供使用。
arXiv 論文為 JEPAs 中的 Platonic Representation Hypothesis 提出並證明定理,指出不同模態模型在特定條件下可學得相同表徵。定理要求正樣本對是同一場景的兩個觀察,所得表徵可相差一次旋轉;論文亦報告,在同一語料上,good views 達到相同對齊程度所需的訓練樣本比 next-token prediction 少 42 倍。
TAC-CoT 是一種工具賦能的自適應隱式 CoT 框架,以精簡的潛在推理片段取代明確推理軌跡,並只在工具呼叫、觀察及最終答案中保留文字 tokens。在智能體數學及問答基準測試中,準確率最高提升 8.8 points,模型 forward passes 最多減少 6.8x。分析亦顯示,TAC-CoT 在單工具及多工具設定中均改善工具使用質素。
這項研究探討語言模型資料歸因方法失效的原因,指出現有評測往往同時改變多項數據集屬性。研究提出 CATT 受控事實追蹤基準,透過完全虛構的知識進行微調,並設定明確的真實答案。此類受控合成基準可用於評估研究進展,再進一步檢視真實且受多種因素幹擾的訓練數據。
復旦創智邱錫鵬團隊比較長上下文混合架構,發現滑窗注意力與線性注意力各有優勢:前者較擅長長度外推,後者在長文續訓中的擬合能力較強。團隊提出滑窗線性注意力(SWLA),令 GLA-NoPE、GDN-NoPE 模型在 RULER 的 NIAH-SK1 任務中由 4k 外推至 64k,達到 16 倍免訓練外推並保持 100% 準確率。研究指出,混合架構的優勢來自不同注意力模組的互補。
飛捷科思與復旦大學團隊提出 Fysiverse-UniWAM,並在 24 項真機測試中取得導航及移動操作領先結果。其中 UniWAM-Scaled 在 13 項導航任務的位置誤差均排名第一,4 項移動操作任務成功率亦全部第一,平均為 80.0%,較 π₀.₅ 高 17.5 個百分點。