HiUni 如何在共享視覺空間中統一理解與生成
HiUni 探索將預訓練視覺語言模型擴展為統一多模態模型,讓同一個語言對齊 ViT 和 dense Transformer 主幹同時支援視覺理解與生成,並將任務專屬計算限制在輸出端。模型以 Pixel Diffusion Head 優化像素空間生成,並透過輕量 HiGate 路徑補充合成所需的細緻空間資訊。實驗顯示,HiUni 的平均理解評分與預訓練視覺語言模型相若,圖像生成和編輯表現具競爭力。
HiUni 探索將預訓練視覺語言模型擴展為統一多模態模型,讓同一個語言對齊 ViT 和 dense Transformer 主幹同時支援視覺理解與生成,並將任務專屬計算限制在輸出端。模型以 Pixel Diffusion Head 優化像素空間生成,並透過輕量 HiGate 路徑補充合成所需的細緻空間資訊。實驗顯示,HiUni 的平均理解評分與預訓練視覺語言模型相若,圖像生成和編輯表現具競爭力。
Frontier Design Benchmark 排行榜新現兩款隱形模型,排名均高於《Fable 5.2》。這項基準以 Contra 市場的真實設計委託作盲測,由 68 位專業設計師進行 4,311 次投票,涵蓋 33 項設計委託。評分量表設有 35 個維度,分數與設計師評分的相關係數為 0.94。
WaveView 將扭曲後的來源影像注入預訓練生成器初始雜訊的相位,以生成新視角,並保留原有架構、只增加極少額外開銷。在 DL3DV 基準的所有重疊區間均勝過基線;最困難區間中,模型在共視區域的 PSNR 比 MetaView 高 0.84 dB,速度快 2.1 倍。以相同雜訊微調 AnyView,令其在 AnyViewBench 的零樣本 PSNR 從 11.58 提升至 12.35 dB。
UltraTex 提出級聯多視角框架,結合物理知識與視覺語言模型特徵,從單張參考圖像為 3D 網格生成符合物理特性的 PBR 紋理貼圖。框架先聯合預測反照率與世界空間着色法線,再根據生成的反照率、參考圖像及材質語義先驗預測金屬度與粗糙度貼圖。實驗顯示,UltraTex 在視覺保真度、材質準確度及物理合理性方面勝過現有開源和商業方法。
Jeveration 將凍結的視覺語言模型改作生成模型,讓 System One 模型以單次前向傳播生成連貫圖像,並支援圖像轉圖像及密集預測。模型生成 512x512 圖像需時 78 ms,速度最高比現有統一模型快 122x。實驗顯示,其圖像質素及密集預測效能具競爭力。
研究發現,將固定 steering vectors 加到凍結的擴散 Transformer 區塊輸出後,可恢復大部分 RL 後訓練帶來的獎勵增益。在六個經 RL 微調的圖像模型上,向量恢復 90.0-96.3% 的獎勵增益;兩個影片模型則為 89.8% 和 111.9%。
研究提出 World Snapshot Models(WSMs)統一框架,將近乎所有視覺任務重新表述為生成任務,以統一訓練及執行這些任務。研究在超過 1,000 項視覺任務上驗證這些法則,並提出統一訓練框架,供未來視覺任務研究及應用參考。
Decoding Without a Decoder(DWD)在微調後的 diffusion transformer 加入最終步預測頭,讓模型直接輸出像素,移除潛在擴散模型的解碼器,降低推理成本並維持或提升像素品質。在 Wan 影片生成中,DWD 將扭曲誤差降低 23%;在 ImageNet 上,FID 由 1.55 降至 1.43,成為像素 flow 模型中的新 SOTA。
EDGAR 和 SphereFlow 以具幾何感知能力的 flow matching,取代繁重的迭代式重建流程。EDGAR 只需一次 diffusion step 即可修復 Gaussian avatar,平均額外耗時由小型的 5.04 分鐘至大型的 16.60 分鐘不等。SphereFlow 用於缺失模態補全後的腦腫瘤分割,縮小了與完整模態 oracle 約八成的效能差距。
GlyphAtlas 是一個建基於 FLUX.1-Fill-dev 的場景文字合成模型,透過分離文字版面配置與筆畫繪製,改善小字、密集多行文字及複雜文字系統的合成效果。模型以中文和英文訓練,並可零樣本泛化至日文、韓文和阿拉伯文。團隊開源程式碼、權重及包含 1.5M 張場景文字圖片的 GlyphAtlas-Data-1.5M。
ReDiverse 透過探查蒸餾圖像及影片生成器的內部激活,找出少步擴散模型的多樣性崩塌源於激活方差集中於較少方向,並提出恢復多樣性的方案。ReDiverse-FT 以輕量適配器微調,ReDiverse-TF 則無需訓練,沿教師模型的主方向引導激活;兩者均在保留生成品質的同時恢復樣本多樣性。
AnisoFlow 為基於流的生成模型學習可調的各向異性預測目標,提升生成品質而不改動模型架構或取樣器。在 ImageNet 256times256 上,相較 JiT 基線,FID 由 1.90 降至 1.55。像素空間文字生成圖像中,AnisoFlow 改善圖像品質,並在低精度推理下大幅減少拼接縫隙偽影。
eDMD 提出端點分佈匹配蒸餾方法,只以學生模型的最終輸出訓練共享假模型,並加強教師監督,以改善少步擴散模型的蒸餾。實驗顯示,在 SD3-Medium、FLUX.2-klein(4B 和 9B)及 Qwen-Image-2.1 上,eDMD 在 4 步生成中持續勝過現有的分佈匹配方法。
澳洲與中國的學術合作提出 TongueReenact,透過 Stable Diffusion 等方法,將駕駛影片中的面部動作和舌頭動態轉移至來源人物。測試中,該方法在舌頭位置和大小等關鍵指標上,較最接近的競爭方法準確度高逾 100%。論文發表後,承諾提供的程式碼似乎尚未推出。
LipsFlower 結合 Lipschitz 感知架構與正則化,減少流匹配圖像復原中的輸入擾動放大,同時維持具競爭力的復原品質。其向量場架構 LipHDiT 採用穩定化近似頻譜正規化、有界調制及凸殘差混合,並以有限半徑對抗增益正則化抑制過度敏感。盲人臉部復原測試顯示,LipsFlower 在維持復原品質的同時降低擾動放大。
Iris-Z 是一個同時生成圖像外觀與深度的通用圖像生成模型,以單一骨幹網絡處理圖像生成、深度估算及依據深度繪製圖像。在足夠規模下,它在既有深度基準測試中超越專用模型,同時保留原有骨幹網絡的圖像生成能力;研究團隊向社羣發布了兩個模型。
Open Vision Banana(OVB)提出一套全開放、可重現的方案,把預訓練生成模型轉化為統一的多任務感知系統。OVB 使用 4B 和 9B 參數的開放權重基礎模型及 2.1M-3.8M 個訓練配對,在 Cityscapes 零樣本表現以 73.9 mIoU 超越 Vision Banana 報告的 69.9 mIoU。
TailSteer 透過從 on-policy rollout 學習針對尾段的修正,減少連續 15-20 次圖片編輯累積的漂移,並大致保留原模型能力。History Forcing 將 15 秒影片生成的 VBench 質素提升至 85.07,MemoBench 物件一致性達 62.18,Evolution Quality 由 2.35 升至 2.70;每步訓練時間和記憶體開銷只增加約 2%。
dNaViT 是一種離散原生分辨率視覺 Transformer,透過分組乘積量化及雙分支目標作為通用視覺 tokenizer,支援多種下游任務及高保真圖像解碼。評測顯示,dNaViT 在 12 項視覺理解基準、4 項生成基準及 1 項圖像編輯基準中,達到或超越專用基線。
G-STAR 提出空間與羣組協同縮放框架,讓離散自回歸生成在深度壓縮下維持重建、理解及生成表現。固定名義資訊預算下,羣組大小應隨每軸空間壓縮因子平方增長,框架支援 32× 及有效 64× 壓縮。在五個文字生成圖像基準上,模型表現具競爭力;生成 1024×1024 圖像時,速度較以往離散自回歸模型快 20×,單張 NVIDIA H200 上每張需時 2.5 秒。
MotionGraphicsBench以100個專家策劃案例,評估大型語言模型根據文字提示為靜態SVG生成動態圖形的能力。其確定性驗證程式與人類判斷的一致率為93.3%,高於GPT-6 Astra VLM基準的83.3%;涵蓋32個LLM、12家供應商的47種配置,pass@1介乎6.0%至67.7%。
WeLM-Image 是統一圖像基礎模型,將多模態理解整合至文字生成圖像、指令引導編輯及多參考圖像合成。其 1536 解析度版本在 PRISM-Bench、Qwen-Image-Bench 和 UnicBench 的受評開源模型中均排名第一。
EDGAR 是一種條件式擴散框架,透過融合區塊將 Sapiens 提取的身份特徵注入單步擴散骨幹,精修有瑕疵的 Gaussian 頭像,同時保留身份特徵。模型採用 MoE 架構,並以 EDGAR-SET 訓練;精修後的多視角渲染會用作偽目標,以優化單一 Gaussian 頭像。
VA-TDM結合速度對抗蒸餾(VAD)與軌跡感知監督,在文字生成圖像和文字生成影片中,於多種模型骨幹上取得四步生成的最先進表現。VAD透過學習到的判別器比較學生與教師的速度場,並統一分數蒸餾、基於Fisher的匹配及矩匹配。VA-TDM可擴展至33B MiniMax-H3;按人類偏好評分,其表現明顯優於少步 Fast-H3,並更接近原始多步 H3。
OpenAI 為 GPT-Image-2.6 Sunburst 和 GPT-Image-2.6 Flare 評估安全風險,並為兩款模型套用生物風險緩解措施。針對 310 個違規 GIF 的評估中,使用生成提示詞和畫格網格進行審核的召回率為 77.66%;兩款模型均未達到生物或網絡安全能力的 High 門檻。
LongBanana 是一個針對長上下文多參考圖像合成、由專家設計及驗證的基準,包含 90 項任務及共 4,670 個專家指定的原子評估項目。每項任務約有 32 張參考圖像和 20 項約束,並以圖像中的實體與關係圖評估內容保真度、關係綁定及整體約束滿足度。研究亦提出 LongBanana-Gen;實驗顯示,精簡的智能體框架優於直接生成,而 RPR 工作流程的成效視乎框架而異,程式碼及數據已公開。
FlowTranslator 是一個無需訓練的圖像內機器翻譯框架,利用擴散軌跡控制在保留周邊視覺脈絡的同時,於圖像中生成譯文。在 EasyOCR 回讀測試中,其平均 PRIM BLEU 和 COMET 分數分別為 20.6 和 57.2,優於採用訓練的基線 UniTranslator。
TailSteer 是一種最終階段訓練框架,透過令早期去噪動態貼近基礎模型,並在軌跡尾段學習保留修正,減少多輪圖片編輯中的累積視覺漂移。FLUX、SenseNova 和 Qwen 系列的實驗顯示,TailSteer 在 15-20 輪編輯中大幅減少漂移,同時大致保留基礎模型在文字生成圖片及單張圖片編輯基準上的表現。
商湯研究院、香港科技大學 MMLab、斯坦福大學及清華大學智能產業研究院的研究者提出 MT Forcing,以改善多輪圖像編輯中的畫質退化與內容漂移。SenseNova-U1.5 使用該方法後,第八輪指令遵循分數由 4.52 升至 9.17,內容一致性分數由 3.22 升至 7.68;畫質抗漂移分數則在八輪維持 4.20—4.35。其八輪幾何位移均值由 6.34 像素降至 0.74 像素。
StepX-OPD 將多教師在策略蒸餾與少步採樣整合訓練,讓文字生成圖像擴散模型同時習得多項能力並以少量步驟生成。研究在 SD3.5-Medium 和 FLUX.1-dev 上評估,StepX-OPD 在比較的四步方法中取得最高標準化平均分,並超越四十步 Flow-OPD。於 SD3.5-Medium 上,其 GPU 訓練時數較先後進行 DiffusionOPD 和步數蒸餾減少約 37%。
研究提出以未來感知位置嵌入和排序課程,將預訓練的光柵掃描自回歸圖像模型改造成任意順序生成器,支援修補、外延和編輯。方法在 ImageNet 修補上的 FID 為 6.21,優於 MaskGIT 的 10.44;額外計算量為預訓練以外的 13-33%,並保留標準自回歸推理架構。
PhysInsert 是一個參考式物件插入框架,透過共同調整物件及周邊場景,提升插入結果的物理合理性。研究團隊建立 Insert World 數據集,並以幾何引導適配及 2D 物件-場景空間監督,處理物件位置、光照、透視及姿態。實驗顯示,PhysInsert 在 PhysInsert-Bench 和 DreamBooth 上提升圖像保真度,用戶研究亦顯示其物件放置及光照整合更準確。
SpecSlot 提出像素空間生成式 Transformer,透過局部頻譜槽位和受限全域注意力,在不增加計算成本下提升圖像細節。ImageNet-256 上,其最終 FID 與 FLOPs 相若的 JiT 對照模型相若,收斂速度則更快;ImageNet-512 上,FID 改善 2.84,FLOPs 減少 3.9%。
IDM(Intrinsic Distribution Matching)在 internal DMD 基礎上加入生成器 EMA 特徵的矩約束,無需外部特徵編碼器。
HairDeck 以擴散 Transformer 從單張圖片生成風格化髮片及彈簧骨骼動畫,並將髮型表示為無序 token 集合。於 CHARM 自有測試集上,HairDeck 的 Chamfer 距離降低 44%、髮片方向誤差減少逾半,速度快 33 倍;生成的資產可供動畫製作,並可匯出至下游格式使用。
EditAgent 把編輯步驟分流至通用編輯器及專門方法,並為候選結果附上驗證紀錄,以擴展智能體圖像編輯的行動與觀察空間。專家在 78.5% 的已判定比較中偏好這種並行生成及一次列表式評判的做法,評判呼叫次數不多於順序改進方式的一半。EditAgent 在三個基準測試中提升了兩個開放權重編輯器的表現。
SketchDirector 是一個智能體框架,可將場景文字提示詞拆解為多個由 Bézier 曲線構成的草稿向量素材,再透過具自我演進記憶的推理迴圈安排空間佈局,並利用擴散先驗精修細節。研究團隊同時推出 MCSketch8K 數據集,收錄可編輯向量素材、組合佈局及物件層級操作註釋。實驗顯示,SketchDirector 在語義和組合品質上優於現有基準,並能在精修時保留整體輪廓組織。
LARC 為統一多模態模型引入連續空間潛在推理,改善圖像生成質素,並支援測試時擴展,避免離散 token 瓶頸。其訓練分兩階段:課程式監督微調,以及資訊增益強化學習;後者無需真值監督。LARC 在 GenEval 上取得最先進表現,較 BAGEL 提升 7%p,並在平行及循序測試時擴展策略下,展現優於基於 token 生成的表現。
研究發現,REPA 等擴散 Transformer 加速方法會重組 AdaLN-Zero 殘差閘 α,而較廣泛的閘參與度與較佳生成品質相關。研究提出無需教師模型的徑向目標,透過特徵範數正則化促進廣泛參與;在 ImageNet 256times256 的 SiT-B/2 實驗中,該方法的 FID 優於 dispersive loss。
Nemotron-Labs-Diffusion-Uni(NLD-Uni)是一款結合視覺理解與生成的統一離散擴散大語言模型,採用跨範式策略上蒸餾及漸進式自我精煉擴散。在視覺問答、多模態推理、物件定位、文字生成圖像及圖像編輯等多種任務上,NLD-Uni 在統一擴散大語言模型中達到最先進表現。