NVIDIA 擴展 Nemotron Retriever 系列，推出 Nemotron 3.5 Embed、Nemotron 3.5 Rerank 及 Nemotron 3.5 Parse

Agent 的答案取決於它能檢索到的證據。證據不完整或不相關時，Agent 會重複搜尋並查閲更多文件，在完成任務前消耗更多推理 token。更出色的檢索能協助 Agent 以較少浪費的 token 得出有根據的答案。在企業規模下，這種浪費會造成巨大的效率損失。Agent 需要合適的檢索模型和系統，才能更快取得洞見。

今天，我們擴展 Nemotron Retriever 系列，推出全新的開放式商用模型，涵蓋嵌入、重新排序和文件擷取。新模型包括 Nemotron 3.5 Embed 8B BF16、1B BF16、1B NVFP4、Nemotron 3.5 Rerank 8B BF16，以及參數量為 631M 的 Nemotron 3.5 Parse。

這些最先進的模型，為企業 Agent 工作流程帶來多模態檢索、相關性排序和文件處理能力。

更出色的檢索，讓 Agent 效率更高

檢索質素會影響 Agent 產生的答案，也會影響 LLM 推理成本。相關證據可協助 Agent 回答問題，或更準確地判斷下一步；重新排序則能提升納入其上下文的證據質素。

假設有 Agent 接獲任務，要找出下季有缺貨風險的產品，並解釋原因。它必須整合圖表中的需求預測、表格中的庫存水平，以及報告中的供應商交貨時間，再判斷補貨能否在庫存耗盡前到達。要完成任務，必須在不同文件中找出相關證據，並在分析中一併運用。

為瞭解檢索如何影響 Agent 整合證據及完成任務的能力，我們在 ViDoRe v3、BRIGHT 和 BrowseComp-Plus 上評估 Nemotron 3.5 Embed 和 Rerank。ViDoRe v3 使用文字與圖像的組合輸入，而 BRIGHT 和 BrowseComp-Plus 則只使用文字輸入。在這個流程中，Agent 會使用搜尋工具查詢語料庫、檢視證據，再調整下一次搜尋，以找出與指定查詢最相關的資訊。以下實驗採用不同的搜尋工具實作方式：只使用嵌入、使用嵌入並加入重新排序，以及採用不同模型。固定 Agent 所用的 LLM、工具、任務集、語料庫和執行政策，只改變檢索設定。我們會衡量 Agent 為每項任務找出相關資訊的能力，以及每項任務的 Agent 推理 token 總數，包括所有輪次的輸入和輸出 token。

圖 1。不同檢索設定下，端對端任務成功率與每項任務的 Agent 推理 token 總數。

• 降低 Agent 推理成本：加入 Nemotron 3.5 Rerank 後，使用 Nemotron 3.5 Embed 8B 時，每次查詢的 Agent token 成本約降低 14%；使用 Nemotron 3.5 Embed 1B 時，則約降低 13%，而兩種設定下的檢索準確度均有所提升。
• 在相同 Agent 預算下取得更佳證據：以 Nemotron 3.5 Embed 8B 作為檢索器時，在 Agent token 成本相若的情況下，Nemotron 3.5 Rerank 的 nDCG@10 比 Qwen3-VL-Reranker-8B 高約 0.9 分。

Nemotron 3.5 Embed 和 Rerank

這些 Agent 成功案例背後，是 Nemotron 3.5 Embed 和 Nemotron 3.5 Rerank。它們會跨文字和圖像檢索證據，並將證據整理至 Agent 的上下文中。Nemotron 3.5 Embed 以上一代 Nemotron 3 Embed 文字嵌入模型為基礎，可從文件圖像中檢索證據，包括表格、圖表、資訊圖表、資料表和原理圖。這讓應用程式能夠搜尋由視覺內容傳達的資訊，以及文件文字。

這四款模型為檢索和第二階段排序提供不同選擇：

表 1. Nemotron 3.5 Embed 和 Nemotron 3.5 Rerank 各種規模及變體的模型能力和使用案例。

主要功能包括：

• 文字和圖像檢索：搜尋包含表格、圖表、資訊圖表、資料表和原理圖的文件文字和圖像。
• 多語言支援：文字檢索在 34 種語言中進行評估，而多語言視覺檢索則在 MIRACL Vision（18 種語言）和 KoViDoRe 上進行評估。模型可能支援評估範圍以外的其他語言。
• 多模態重排序：8B 交叉編碼器會根據文字和圖像輸入為搜尋查詢–文件配對評分。
• BF16 和 NVFP4 部署：1B 嵌入模型提供 BF16 和 NVFP4 版本，並對文字和圖像編碼器套用量化。
• 領域適配：Nemotron 嵌入微調配方支援自訂文件集；在我們的圖表和資訊圖表實驗中，Nemotron-3.5-Embed-1B-BF16 和 Nemotron-3.5-Embed-8B-BF16 的相對 nDCG@10 分別提升 18% 和 3%。

在 ViDoRe v3 上領先的多模態密集檢索

在 ViDoRe v3.1 上，Nemotron 3.5 Embed 8B BF16 的 nDCG@10 達到 61.17，在密集檢索模型中排名第一。這比 Llama Nemotron Embed VL 1B 模型的 52.23 分高出 8.94 分。1B 模型以較小的規模保留了大部分視覺檢索能力。Nemotron 3.5 Embed 1B BF16 由 8B 教師模型蒸餾而成，nDCG@10 得分為 58.38，保留了教師模型 95.4% 的得分。

圖 2. 截至 10/20/2026，Nemotron 3.5 Embed 8B BF16 在 ViDoRe v3.1 排行榜的密集檢索模型中排名第一。

我們亦在 ViDoRe v3、Korean ViDoRe 和 MIRACL Vision 上，將這些模型與 Qwen3-VL-Embedding、EmbeddingGemma-2 及上一代 NVIDIA 模型進行比較。下圖列出僅使用圖像輸入，以及結合圖像與文字輸入時的檢索準確度。

圖 3. Nemotron 3.5 Embed 的文字及視覺檢索表現，與前代模型及部分基準模型比較。

多語言結果展示模型如何在不同語言設定下檢索證據。在 MIRACL Vision 上，8B 模型的 nDCG@10 達 72.6，較 Qwen3-VL-Embedding-8B 高 4.3 分。我們亦在 KoViDoRe 上評估這些模型；使用圖像及文字組合輸入時，Nemotron 3.5 Embed 8B 和 1B 的表現均優於 Qwen 基準模型。

為 Agent 任務重新排序證據

嵌入模型將內容表示為向量，讓大型內容集合可供搜尋。檢索程序傳回候選集後，Nemotron 3.5 Rerank 8B BF16 會根據查詢評估每個候選項目，進一步調整文字及圖像輸入的排序。重新排序模型能區分大致相關的內容與直接回答問題的證據，協助 Agent 更有效運用上下文預算，並專注於完成任務所需的資訊。對 Agent 檢索系統而言，較早呈現最有力的證據，有助減少造成幹擾的上下文內容，並協助 Agent 產生更有根據、效率更高的回應。

我們與 MTEB 團隊合作，推出 ViDoRe v3.1 重新排序排行榜，以評測重新排序模型在文件檢索方面的表現，涵蓋純圖像、純文字及圖像與文字組合輸入。使用圖像與文字組合輸入時，Nemotron 3.5 Rerank 8B BF16 的 nDCG@10 達 60.49，Qwen-3-VL-Reranker-8B 則為 59.17。

圖 4. 截至 10/20/2026，Nemotron-3.5-Rerank-8B-BF16 在 ViDoRe v3.1 Reranking 排行榜排名第一。

圖 5. Nemotron 3.5 Rerank 8B 與 Qwen 3 VL Reranker 8B 的文字及視覺重新排序表現。兩個模型均對 Nemotron 3.5 Embed 1B 模型檢索出的排名前 50 個候選項目重新排序。

運用 NVFP4 擴展多模態檢索

對生產環境中的 Agent 系統而言，檢索品質只是其中一環。隨着文件集合及查詢量增加，團隊必須在準確度、吞吐量及基礎設施需求之間取得平衡。

Nemotron 3.5 Embed 1B NVFP4 為高吞吐量多模態檢索提供經最佳化的部署選項。在 NVIDIA GB200 上，其吞吐量較 1B BF16 模型高 27.1%，由每秒 101.3 份文件增至每秒 128.8 份，同時在 ViDoRe v3 的圖像及文字組合輸入測試中，保留 99.85% 的檢索準確度。如圖 6 所示，NVFP4 模型在準確度與吞吐量之間取得良好平衡，適合團隊在生產工作負載中擴大檢索規模。

這種部署彈性亦有助按領域自訂模型：團隊可選擇符合其基礎設施需求的模型權重數據類型，再按自身的術語、文件及檢索任務調整嵌入及重新排序模型。

圖 6. ViDoRe V3 檢索準確度與服務效率比較，展示 Nemotron 3.5 Embed 與部分較小型開放式嵌入基準模型的表現。

透過 NVIDIA NIM 提供高效能服務

NVIDIA NIM 為 Nemotron 3.5 Embed 提供高效能部署途徑。在 NVIDIA RTX PRO 6000 Blackwell Server Edition 上進行測試時，NIM 每秒處理 6,031 個查詢請求，吞吐量約為可比 vLLM 配置每秒 2,099 個請求的 2.9 倍，同時維持相若的段落處理吞吐量。這套經最佳化的服務技術堆疊，助企業以可投入生產環境的部署方案及支援，擴展檢索工作負載。

圖 7. Nemotron 3.5 Embed NIM 服務效能與 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 上的 vLLM 檢查點比較。

讓檢索適應特定領域任務

企業 Agent 經常需要搜尋包含專門術語及公司特定資訊的文件，而通用檢索模型未必能充分掌握這些內容。微調讓團隊可以使用自己的文件、查詢及相關性標籤，調整 Nemotron 3.5 Embed 和 Rerank，以配合特定領域及使用情境。

Nemotron 多模態嵌入微調配方將合成資料生成、困難負樣本挖掘、使用 NVIDIA NeMo AutoModel 進行微調，以及評估整合於單一工作流程。團隊可以從自己的文件生成查詢及相關性標籤，為檢索任務建立訓練資料。

我們使用 8,591 個由 Qwen3.8-Flash-Next 生成的合成查詢，針對 8,202 張圖表及資訊圖表圖片評估此配方，重點測試涉及多張相關圖片的列舉式及開放式查詢。使用 6,872 個查詢微調 Nemotron-3.5-Embed-1B-BF16 一個 epoch 後，在 1,719 個保留作測試的合成查詢上，nDCG@10 由 37.34 升至 44.12，較基礎模型相對提升 18%。使用相同的合成查詢集，對 Nemotron-3.5-Embed-8B-BF16 進行 epoch 微調後，nDCG@10 由 41.44 升至 42.75，相對提升 3%。

Embed 和 Rerank 模型的建構方式

Nemotron 3.5 Embed 8B 以 Ministral-3-8B-Instruct 為基礎，其語言元件由 Nemotron-3-Embed-8B-BF16 初始化。模型使用圖像及文字語料進行對比式學習，以產生用於多模態檢索的表徵。

Embed 1B 模型由 Nemotron 3.5 Embed 8B 蒸餾而成，其語言元件由 Nemotron-3-Embed-1B-BF16 初始化。蒸餾過程結合餘弦損失及均方誤差（MSE）損失，使學生模型的嵌入向量與教師模型對齊。

在嵌入模型訓練期間，語言元件會保持凍結。因此，預期純文字嵌入會與相應的 Nemotron 3 Embed 模型保持不變，現有的文字嵌入及向量索引亦可重用。

Nemotron 3.5 Rerank 在交叉編碼器配置中，採用與 Nemotron-3.5-Embed-8B 相同的骨幹架構。嵌入模型會分別編碼查詢及文件，並為兩者的相似度評分；重排序模型則會共同編碼每組查詢與文件。最後的多層感知器（MLP）評分頭會產生一個相關性 logit。

所有模型均使用公開提供及合成的多語言、多模態資料混合訓練，最終發布的權重則透過檢查點集成產生。各模型的 Hugging Face 模型卡提供更多訓練資料詳情。

Nemotron 3.5 Parse

企業知識往往以 PDF 形式存在，而內嵌文字只能擷取頁面內容的一部分。擷取文字時可能會遺失閲讀次序、令表格數值與標題分開，或遺漏圖表所傳達的資訊。掃描文件和以圖片為主的 PDF 可能完全沒有可用的文字層。在這些資訊能用於搜尋、檢索或自動化文件工作流程之前，必須先將像素轉換為結構化內容。

Nemotron 3.5 Parse 會將文件圖片轉換為機器可讀文字，同時保留賦予內容意義的結構。它會識別文件元素、所在位置及閲讀次序，並將表格和圖表擷取為結構化表示。產生的 Markdown、HTML 表格及結構化區塊，能為開發者提供更適合編入索引、搜尋及後續處理的內容。應用程式可以連同周邊脈絡擷取段落，將表格按列和欄處理，並將擷取到的證據連結至原始頁面上的位置。

Nemotron 3.5 Parse 以 631 million 個參數的規模，將這項能力帶入大規模文件處理流程，並以結構化資訊補足 Nemotron 3.5 Embed 和 Rerank，支援檢索及 Agent 工作流程。

準確度領先，文件處理更快

圖 8. 截至 10/20/2026，Nemotron 3.5 Parse 在參數少於 1 billion 的模型中，於 ParseBench 排行榜排名第一。

Nemotron 3.5 Parse 在參數少於 1 billion 的模型中，於 ParseBench 排名第一，得分為 75.20，並可在一張 NVIDIA H100 上每秒處理 10.5 頁。憑藉經過充分最佳化的參數配置、多詞元預測、推測解碼及靈活的原生解析度處理，它實現了同類最佳速度。ParseBench 測試表格和圖表擷取、內容忠實度、語義格式化及視覺定位。

開發者可使用同一模型，按需要在速度和準確度之間調整處理規模。單次推理只擷取每頁一次，以達到最高吞吐量。雙次推理會重新處理初次頁面解析中識別出的表格和圖表。三次推理則增加一次偵測流程，以找出更多可進一步完善的區域。這種做法會將額外處理集中在值得仔細檢視的文件區域。

表 2. 增加模型處理次數可提升模型準確度，而吞吐量只會小幅下降。針對表格和圖表的重點區域重新處理，可提高準確度。

在這項比較中，三種配置均屬帕累托最優：沒有其他受比較的配置能同時達到更高準確度和更高吞吐量。團隊可選擇符合其工作負載的運作點，從快速匯入大量文件集，到更詳細地擷取複雜頁面的內容。

圖 9. Nemotron Parse 3.5 在 ParseBench 排行榜上取得帕累托最優表現。

Nemotron 3.5 Parse 的建構方式

Nemotron 3.5 Parse 以多種企業文件、科學論文、表單、表格、圖表及多語言文字的混合資料進行訓練。強大的合成數據引擎擴展模型接觸到的版面配置、結構和語言範圍，並與自動標註文件及人工標註數據相輔相成。合成多語言數據有助建立全面的 OCR 能力，模型在涵蓋 163 種語言與文字系統組合的評測中表現出色。這種多樣性讓模型能應對企業文件集合中的各類內容。模型卡及多語言涵蓋範圍。

我們透過羣組相對策略最佳化（GRPO）進一步提升穩健性和可靠性，並使用自訂獎勵函數，強化正確的文件結構，同時懲罰錯誤。這項後訓練可減少重複生成迴圈和未閉合區塊，提升表格一致性，並加強模型遵循圖表結構描述的能力，令擷取的資訊更可靠，適用於後續文件工作流程。

感謝 LightOn 透過其模型和技術網誌提高開源標準。分享的技術對提升我們的模型起到關鍵作用。

早期企業合作夥伴評估

• Elastic 用戶可透過 Elasticsearch 的 Inference API，使用 NVIDIA 推理端點存取 NVIDIA Nemotron Retriever 嵌入及重排序模型。Nemotron 3 即將透過 Elastic Inference Service (EIS) 提供，而對 Nemotron 模型本地部署的支援亦已列入開發計劃。
• Vectorize 評估了 NVIDIA Nemotron 3.5 Embed 搭配 Hindsight Agent Memory，並在兩項長對話記憶基準測試中排名第一：在 LoCoMo 上的 recall@10 達 93.8%，在 BEAM 100K 上達 65.9%，勝過另外七款嵌入模型。它亦取得最高的 MRR 和 recall@5，凸顯其在冗長、複雜的對話歷史中檢索相關記憶的優勢。
• Perplexity 的評測顯示，NVIDIA Nemotron 3.5 Embed 在Q2D-Web基準測試中表現出色。在最新評估中，NVIDIA Nemotron 3.5 Rerank 8B 在私有的 72 項任務重排序基準測試中取得最高平均分，並在全部六個領域均有出色表現。這些結果凸顯專用檢索模型與 Perplexity Decider 系列等通用決策模型並用的價值。
• Turbopuffer 在企業 PDF 搜尋基準測試中評估了 NVIDIA Nemotron 3.5 Embed 8B，發現其在 Recall@20 下找到的相關結果比次佳模型多 ~5%。這些模型在常見商業任務方面達到最先進水平，例如搜尋包含複雜圖像的 PDF，現已透過 Turbopuffer 原生嵌入功能提供。

開始使用

開發者可在 Hugging Face 取得開放權重、數據、訓練配方等資源，部署NVIDIA NIM以進行生產環境推理，或透過領先的 AI 雲端及推理合作夥伴部署模型，包括 Baseten（Embed、Rerank、Parse）、DeepInfra（Embed 1B、Embed 8B、Rerank 8B），以及FriendliAI（Embed 1B、Embed 8B、Rerank 8B）。

• Nemotron-3.5-Parse： Hugging Face、NIM
• Nemotron-3.5-Embed-8B-BF16: Hugging Face, NIM
• Nemotron-3.5-Embed-1B-BF16: Hugging Face, NIM
• Nemotron-3.5-Embed-1B-NVFP4: Hugging Face, NIM
• Nemotron-3.5-Rerank-8B-BF16: Hugging Face, NIM

為配合 NVIDIA AutoModel 進行領域適應，我們提供多模態嵌入和重新排序的微調支援，讓團隊可按自己的文件集和相關性要求調整模型。立即開始使用 Nemotron 嵌入和重新排序微調方案。

根據工作流程選擇模型：Parse 用於從文件中擷取結構化資訊，Embed 用於搜尋文字和圖片，而 Rerank 則用於改善檢索結果的排序。結合使用這些模型，建立檢索流程，為 AI Agent 提供更有力的證據。

鳴謝及主要貢獻者

Nemotron 3.5 Retriever 的推出，是 NVIDIA 多個團隊及人士通力合作的成果，以下是主要貢獻者：

Ronay Ak, Yauhen Babakhin, Behzad Boroujerdian, Jiarui Cai, Ryan Chesler, Zoe Faul (cw), Jennifer Hajduk, Steve Han, Oliver Holworthy, Isabel Hulseman, Bo Liu, Gabriel Moreira, Even Oldridge, Radek Osmulski, Denis Ovchinnikov, Julio Perez, Khang Pham, Alex Richards, James Rong, Jihyeon Ryu, Sohail Sahi, Regis Schiavi, Sean Sodha, Marek Wawrzos, Jakub Zakrzewski, Lucy Zhang, Yuhe Zhang.