跳到正文
Hugging Face Blog·· 2026-04-28精選AI 評分72

NVIDIA 發佈 Nemotron 3 Nano Omni 長上下文多模態模型,面向文件分析、音訊與影片理解及智能體電腦操作

Introducing NVIDIA Nemotron 3 Nano Omni: Long-Context Multimodal Intelligence for Documents, Audio and Video Agents

AI 導讀

NVIDIA 發佈 Nemotron 3 Nano Omni,這款長上下文多模態模型面向文件分析、音訊與影片理解、智能體電腦操作及通用推理。

推薦理由

文章並列 Nemotron 3 Nano Omni、Nemotron Nano V2 VL 與 Qwen3-Omni 的多項基準結果,另列系統效率數據,提供文件、影音和 GUI 任務的比較依據。

正文 · 繁體中文
  • NVIDIA Nemotron 3 Nano Omni 是一款全新的全模態理解模型,專為真實世界文件分析、多圖像推理、自動語音辨識、長篇音訊與影片理解、代理式電腦操作,以及一般推理而設。
  • 它把 Nemotron 多模態系列由強大的視覺-語言系統,擴展為涵蓋更廣的文字 + 圖像 + 影片 + 音訊模型。
  • Nemotron 3 Nano Omni 在複雜文件智能排行榜上達到同類最佳準確度,例如 MMlongbench-Doc、OCRBenchV2;在 WorldSense 和 DailyOmni 等影片及音訊排行榜亦名列前茅。在音訊理解測試 VoiceBench 上準確度最高,並在 MediaPerf. 上成為成本效益最高的開放影片理解模型。
  • 在底層架構上,它結合Nemotron 3 混合式 Mamba-Transformer 混合專家骨幹、C-RADIOv4-H 視覺編碼器,以及 Parakeet-TDT-0.6B-v2 音訊編碼器。
  • 此架構旨在保留細微視覺細節、加入原生音訊理解,並支援極長的多模態上下文,以處理密集圖像、文件、影片及混合模態推理。
  • 訓練方案先採用分階段多模態對齊及上下文延伸,再進行偏好優化及多模態強化學習。
  • 與其他方案相比,Nemotron 3 Nano Omni 在多模態用途上最高可提供 9 倍吞吐量,以及 2.9 倍單串流推理速度。
  • 可在 HuggingFace 下載 BF16、FP8 和 NVFP4 檢查點。
  • 如欲瞭解更多模型架構、訓練方案、數據流程和基準測試資訊,請閲讀完整的 Nemotron 3 Nano Omni 報告。

基準測試亮點
Nemotron 3 Nano Omni 以 Nemotron Nano V2 VL 為基礎,大幅提升視覺能力,並加入全新的音訊及影片+音訊能力;在許多領域亦領先另一款開放權重全模態模型 Qwen3-Omni。

任務 基準測試 Nemotron 3 Nano Omni Nemotron Nano V2 VL Qwen3-Omni 30B-A3B
文件理解 OCRBenchV2-En 65.8 61.2 -
MMLongBench-Doc 57.5 38.0 49.5
CharXiv 推理 63.6 41.3 61.1
圖形使用者介面 ScreenSpot-Pro 57.8 5.5 59.7
OSWorld 47.4 11.0 29.0
影片理解 Video-MME 72.2 63.0 70.5
影片+音訊理解 WorldSense 55.4 - 54.0
DailyOmni 74.1 - 73.6
語音互動 VoiceBench 89.4 - 88.8
自動語音辨識 HF Open ASR(越低越好) 5.95 - 6.55

效率亮點
與互動能力相同的其他開放全模態模型相比,Nemotron 3 Nano Omni 在多文件用途上可提供 7.4 倍系統效率,在影片用途上則可提供 9.2 倍系統效率
Efficiency-Plots 圖 1:在固定的每位使用者互動門檻(token/秒/使用者)下,各模型在多文件和影片用途可持續達到的整體系統吞吐量

Nemotron 3 Nano Omni 的設計用途

整體而言,Nemotron 3 Nano Omni 針對五類工作負載而設:

1. 真實世界文件分析

這不只是 OCR。模型的目標用途是篇幅長、格式雜亂但價值高的文件;要理解這些文件,必須掌握版面、表格、圖表、公式、章節結構及跨頁參照。例如合約、技術論文、報告、手冊、多頁表格或合規文件。模型可處理超過 100 頁的文件。

2. 自動語音辨識

Nemotron 3 Nano Omni 具備強大的語音理解能力,可在各種音訊條件下進行高質素轉錄。它能處理長篇音訊,當中説話者、口音和背景噪音各不相同。這些能力可整合至更廣泛的工作流程,將語音內容轉錄、分析並與其他模態結合,用於摘要、問答及跨模態推理等任務。

3. 長篇音訊與影片理解

許多企業和開發者工作流程都依賴混合音訊及視覺證據,例如附有旁白的螢幕錄影、培訓影片、附有投影片的會議、教學、產品示範、客戶支援錄影,以及長篇影片檔案。Nemotron 3 Nano Omni 專為同時推理這些輸入而設。

4. 代理式電腦操作

Nemotron 3 Nano Omni 模型專門針對代理式電腦操作訓練,可協助在圖形使用者介面(GUI)環境中執行任務。它能解讀螢幕截圖、監察使用者介面狀態、以畫面視覺內容作為推理依據,並協助選擇動作或自動化工作流程。

5. 一般多模態推理

模型不只用於感知,也擅長需要綜合長上下文、多種模態及結構化或半結構化證據的推理任務。它能進行多步推理和計算,並連結文字、圖像、表格及其他輸入中的資訊,得出連貫且有充分依據的答案。

模型架構與關鍵創新

Nemotron 3 Nano Omni 採用統一的編碼器-投影器-解碼器設計。語言骨幹為 Nemotron 3 Nano 30B-A3B,並配合 C-RADIOv4-H 視覺編碼器及 Parakeet-TDT-0.6B-v2 音訊編碼器。各模態專用編碼器透過輕量投影器連接至 LLM 骨幹。

Nemotron_arch_v3_reduced 圖 2:NVIDIA Nemotron 3 Nano Omni 30B-A3B 模型架構

適用於長篇多模態上下文的混合式 Mamba-Transformer-MoE 骨幹

模型骨幹交錯使用三個關鍵元件:23 層 Mamba 選擇性狀態空間層,用於高效處理長上下文;23 層 MoE,配備128 個專家、top-6 路由及一個共享專家,提供條件式容量;以及6 層分組查詢注意力,以保留強大的全局互動和表達能力。

Nemotron 3 Nano Omni 以統一設計結合狀態空間模型、注意力和 MoE,在維持強大推理能力的同時,仍能實際處理長篇多模態上下文。

針對密集文件、圖表和螢幕的動態解像度

在視覺方面,Nemotron 3 Nano Omni 以按原生長寬比進行動態解像度處理,取代 v2 模型採用的切片策略。每張圖像可用不同數量的 16 x 16 區塊表示,每張圖像最少 1,024 個、最多 13,312 個視覺區塊。對正方形圖像而言,分別相當於 512 x 512 和 1840 x 1840。

這種彈性對處理高解像度、複雜的視覺輸入至關重要,例如 OCR 密集文件、財務表格、投影片、研究圖表、螢幕截圖和 GUI 版面,尤其是在需要同時理解細節和整體結構時。

用於影片的 Conv3D 時序壓縮

處理影片時,Nemotron 3 Nano Omni 使用專用的Conv3D tubelet 嵌入路徑。它不會為每一影格分別嵌入,而是先把每對連續影格融合成單一「tubelet」,再輸入 ViT,令語言模型需要注意的視覺 token 數量減半。這讓我們可以在 token 預算不變時把影格數量加倍,或在影格數量不變時把 token 數量減半

EVS — 高效影片取樣

EVS 是一項重要功能,在推論時啟用,會於視覺編碼器之後移除重複的影片 token。這可降低延遲並提升吞吐量,同時維持準確度。影片第一影格會完整保留;之後每一影格,EVS 都會保留影片中正在變化的「動態」token,並刪除與上一影格相比沒有變化的「靜態」token。我們把這項功能與 Conv3D 結合以達到更佳壓縮:Conv3D 先把兩個影格的 token 融合,再由 EVS 修剪重複的靜態資訊。

原生音訊輸入,而不只是文字轉錄

音訊部分由 Parakeet-TDT-0.6B-v2 提供支援,並透過專屬的 2 層 MLP 投影器連接至骨幹。音訊取樣率為 16 kHz,模型訓練輸入最長可達 1,200 秒(20 分鐘);LLM 的最大上下文長度則支援超過 5 小時。

這與傳統 VLM 流程不同,因為它能在共用多模態序列中原生處理音訊,讓音訊、視覺和文字 token 可共同建模。對附有旁白的螢幕錄影、語音會改變視覺含義的影片問答、長篇教學或會議內容,以及需要按時間脈絡推理多模態內容的任務而言,這點至關重要。

輕量模態投影器與統一 token 交錯處理

每個編碼器都透過輕量的2 層 MLP 投影器連接至 LLM,把編碼器特徵映射至共用嵌入空間。投影後,視覺、音訊和文字 token 會交錯排列並共同處理。

這種設計令整個系統保持模組化,同時仍能在骨幹內部實現真正的跨模態推理。

訓練數據、基礎設施與系統設計

SFT 階段在 NVIDIA H100 上訓練,視乎階段規模由32 個擴展至 128 個節點。訓練堆疊使用 Megatron-LM、Transformer Engine 和 Megatron Energon,並採用張量並行、專家並行、序列並行、長上下文階段所需的上下文並行、線上序列打包,以及選擇性啟動重計算。

SFT 後的強化學習使用 NeMo-RL 和 NeMo Gym,並以 Megatron 為後端。RL 基礎設施採用跨越 B200 和 H100 叢集的Ray 分散式配置,並進行多模態去重,避免重複 rollout 倍增圖像、影片和音訊記憶體用量。

我們把訓練程式碼的重要部分開源。

運用 RL 塑造可靠的多模態行為

Nemotron 3 Nano Omni 引入跨多個環境的文字及全模態訓練。我們在 NeMo-Gym 的多種環境中進行文字 RL 訓練,評估模型能否執行一連串操作,例如呼叫工具、編寫程式碼和多部分規劃,並符合可驗證準則。

全模態 RL 在統一框架下訓練模型跨圖像、影片、音訊和文字推理,涵蓋單一模態以至完整多模態情境。多元驗證器套件會評估不同格式的輸出,包括選擇題、數學、GUI 定位和 ASR,並刻意加入無法作答的個案,教導模型在證據不足時應拒絕作答,而非產生幻覺。

數據與數據流程

Nemotron 3 Nano Omni 以強化後的資料集訓練,重視多種模態上的高質素推理。我們大幅擴闊任務覆蓋範圍,並為公開資料集不足的複雜推理情境加入合成數據。為此,我們建立針對任務的多階段流程,以大規模生成合成數據。

例如,我們使用 NeMo Data Designer,從大量真實世界 PDF 語料生成約 11.4M 組合成問答(約 45B 個 token)。這個資料集用於在後訓練期間加強長上下文文件推理,令 MMLongBench-Doc 的整體準確度提升 2.19×。

我們在Data Designer 開發者筆記中詳述整個流程的演進,包括失敗分析和重要經驗。筆記亦提供九個可運行的流程範例,可作為建立自家文件理解資料集的起點。

工作流程示例

示例 1:長篇多頁文件分析

Nemotron 3 Nano Omni 可分析並推理長篇文件,例如財務報告、學術論文和產品手冊等。以下示例展示如何從一份超過 100 頁的文件擷取財務指標,以計算另一項指標:

adobe-multipage-reasoning-visual-v6 圖 3:MMLongBench-Doc 基準測試中的示意示例

給予模型的提示如下:

Extract information from all the given images, then answer the question using a single word or phrase. Return 'Not answerable' if the answer cannot be derived from the the images.

模型能一次完成長上下文檢索、結構化擷取、表格/圖表閲讀和多頁推理。

示例 2:影片+音訊理解

Nemotron-3 Nano Omni 能同時進行視聽分析,既可針對個別場景作局部分析,也能檢視整段影片。這讓它能回答需要跨模態推理的複雜問題,例如找出音訊提及某個主題時,畫面上恰好出現的具體視覺內容。

影片

問題

Watch the video and listen to the narration.
1.What structure is on fire as shown in the video and how much money was being spent in its renovation project ? 
2. Describe in short what visuals are shown when the eye-witness narrates her experience?

答案

1. The structure on fire is the Notre Dame Cathedral, which was undergoing an almost $7 million renovation project.

2. When the eye-witness narrates her experience, the visuals show the cathedral engulfed in flames and thick smoke, scaffolding surrounding the burning roof, firefighters using ladders to spray water, a crowd of people watching from the riverbank, and views of the burning structure against the Paris skyline.

示例 3:代理式電腦操作/螢幕截圖推理

Nemotron 3 Omni 可整合至代理式電腦操作系統,理解使用者意圖、分析 GUI 元件並執行動作以完成任務。
animation

模型可使用以下系統提示詞存取網頁環境:

You are a GUI agent. You are given an instruction, a screenshot of the screen and your previous interactions with the computer. You need to perform a series of actions to complete the task. The passoword of the computer is {password}.

For each step, provide your response in this format:
{thought}
## Action:
{action}
## Code:
{code}

In the code section, the code should be either pyautogui code or one of the following functions wrapped in the code block:
- {"name": "computer.wait", "description": "Make the computer wait for 20 seconds for installation, running code, etc.", "parameters": {"type": "object", "properties": {}, "required": []}}
- {"name": "computer.terminate", "description": "Terminate the current task and report its completion status", "parameters": {"type": "object", "properties": {"status": {"type": "string", "enum": ["success", "failure"], "description": "The status of the task"}, "answer": {"type": "string", "description": "The answer of the task"}}, "required": ["status"]}}

使用者指令

Find the Driver License Eligibility Requirements

模型回應:
上方 GIF 展示代理為滿足使用者要求而執行的操作

  1. 它會點擊「License & IDs」(牌照及身分證明)分頁
  2. 然後從下拉式選單點擊「Driver’s License」(駕駛執照)
  3. 接着在左側點擊「Driver’s License Eligibility」(駕駛執照資格)
  4. 它會在此頁面向下捲動,再捲回上方
  5. 最後,它向使用者提供以下回應:
Successfully found the Driver License Eligibility Requirements page on the Virginia DMV website. The page contains comprehensive information about driver license eligibility including:

**General Requirements:**
- Must be a resident of the Commonwealth of Virginia
- Must be at least 16 years and 3 months of age

**First Time Drivers:**
- Must complete a state-approved driver education program
- Must obtain a learner's permit at least 60 days before taking the road skills test
- Must be at least 15 years and 6 months of age for a learner's permit
- No exceptions to age requirements

**New Residents:**
- Temporary residents: must obtain license within 6 months
- Permanent residents: must obtain license within 1 year

**Military Personnel:**
- Active-duty members of the Armed Forces stationed in Virginia
- Spouses and dependents 16 years and 3 months or older may drive with valid out-of-state license
- If vehicle is co-owned and out-of-state plates are used, all co-owners must be active duty members

**Out-of-State Students:**
- Full-time students enrolled in accredited Virginia schools (not employed) may drive with valid out-of-state license
- Full-time students who are employed are considered Virginia residents for vehicle laws

**Non-Residents:**
- Non-residents temporarily living in Virginia may drive with home state license for no more than 6 months
- Note: This does not apply to commercial vehicle drivers
- If becoming gainfully employed, must hold Virginia driver's license

**Identification and Residency Requirements:**
- Proof of identity (acceptable documents listed in DMV 141)
- Proof of legal presence in the U.S.
- Proof of Virginia residency
- Proof of Social Security number
- Proof of name change (if applicable)

Additional resources available: interactive document guide, "Acceptable Documents for Obtaining a Driver's License or Photo ID Card" (DMV 141), and Spanish language version.

示例 4:文件+圖表+旁白的混合推理

Nemotron-3 Nano Omni 可分析圖像中的圖表和圖示,並結合音訊檔案,找出不同媒體之間的共通點和差異。

圖像 Screenshot 2026-04-27 at 12.29.11 PM

音訊

問題

Use both the slide content and the spoken commentary.
List out any extra points mentioned by the speaker that is not shown in the slide

答案

Based on the speaker's commentary and the visual content of the slide, here are the extra points mentioned that are not explicitly shown or detailed in the slide:

*   **The Topic:** The speaker explicitly states she will be covering **multitask learning** with neural networks, while the slide title is simply "Some notation" (though it contains the mathematical definitions for tasks).
*   **Nature of the Output:** She describes the output ($y$) as a **probability distribution** over possible labels (e.g., tiger, tiger cat, lynx, cat), whereas the slide only shows a bar chart with class labels without explicitly labeling the vector as a distribution.
*   **Specific Task Example (Paper Titles):** She introduces a concrete example where the input is the **title of a paper** and the neural network is tasked with estimating the **length of the paper**. The slide shows "length of paper" near the bar chart, but does not visually distinguish how a paper title maps to these bars versus representing animal classes.
*   **Optimization Techniques:** She mentions that the loss function is typically optimized using **stochastic gradient descent** or a **"favorite optimizer,"** which are procedural steps not written on the slide (which only defines the loss function $\mathcal{L}$ to minimize).
*   **Input Diversity:** She specifies that inputs can be a **"wide range of unstructured inputs,"** specifically mentioning **images** and **text**. The slide visually displays a single image (a structured input) and uses a generic variable $x$ for the input class.

示例 5:音景

Nemotron-3 Nano Omni 可分析圖像中的圖表和圖示,並結合音訊檔案,找出不同媒體之間的共通點和差異。

音訊

問題

What is producing the main sound in this audio, and what does the acoustic environment suggest about where it was recorded? 

答案

The main sound is a bird chirping, and the presence of multiple bird calls and a natural, open acoustic environment suggests the recording was made outdoors in a natural setting like a forest or park.

示例 6:音樂

Nemotron-3-Nano-Omni 可理解和推理一般音訊內容,包括音景及環境聲音。

音訊

問題

What's the overall vibe of this song, and what kind of scenario would it complement well?

答案

The song has a calm, reflective, and slightly melancholic vibe, with a gentle piano melody and soft string accompaniment. It would complement a quiet, introspective scene such as a rainy evening, a peaceful walk, or a moment of personal reflection.

開始使用 Nemotron 3 Nano Omni

Hugging Face BF16 檢查點 https://huggingface.co/nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16
Hugging Face FP8 檢查點 https://huggingface.co/nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-FP8
Hugging Face NVFP4 檢查點 https://huggingface.co/nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4
技術報告/PDF https://arxiv.org/abs/2604.24954
資料集/合集發布 https://huggingface.co/datasets/nvidia/Nemotron-Image-Training-v3
Megatron-Bridge https://github.com/NVIDIA-NeMo/Megatron-Bridge/tree/main/examples/models/vlm/nemotron_3_omni
NeMo-RL https://github.com/NVIDIA-NeMo/RL/blob/nano-v3-omni/docs/guides/nemotron-3-nano-omni.md
NeMo Data Designer SDG 配方 https://github.com/NVIDIA-NeMo/DataDesigner/tree/main/docs/assets/recipes/vlm_long_doc

參考資料

來源:Hugging Face Blog · huggingface.co