跳到正文
Hugging Face Blog·· 2026-06-05精選AI 評分62

NVIDIA 發佈 Nemotron 3.5 Content Safety,整合多模態安全判定與自訂政策

Nemotron 3.5 Content Safety: Customizable Multimodal Safety for Global Enterprise AI

AI 導讀

NVIDIA 發佈 Nemotron 3.5 Content Safety,將多模態輸入、多語言覆蓋、自訂企業政策與可審計推理整合至單一 4B 模型。模型基於 Google Gemma 3 4B IT,明確訓練覆蓋 12 種語言,並承接其約 140 種語言的 zero-shot 泛化;可選 THINK mode 會輸出推理軌跡。

推薦理由

Nemotron 3.5 將多模態判定、自訂政策和可審計推理整合於 4B 模型,並附訓練資料集,提供企業安全審核的部署參考。

正文 · 繁體中文

過去兩年,NVIDIA 的內容安全技術堆疊從專注於英文文字分類器,逐步發展成一系列專用模型,各自把支援範圍擴展至新模態、新語言和不同推論模式。2026 年 3 月發布的Nemotron 3 Content Safety首次在單一 4B 參數模型中結合多模態和多語言能力。今天,我們推出Nemotron 3.5 Content Safety,完成這段發展歷程:單一模型整合多模態輸入、多語言覆蓋、自訂企業政策執行和可審計推理,只需一次推論呼叫。

本文會介紹 3.5 版的改動、各項新能力背後的設計決定,以及如何把模型整合至正式環境的安全流程。

Nemotron 3.5 Content Safety 新功能

1. 統一多模態評估

Nemotron 3 引入圖像理解;Nemotron 3.5 則進一步深化多模態整合。模型會把用戶提示詞、可選圖像和可選 assistant 回應作為同一個上下文視窗,並對合併輸入作出一致的安全判定。一次過評估三者,而非各自評分,便能彌補多模態安全場景中一個眾所周知的缺口:只有文字與圖像互動,或請求與回應互動時才會出現的政策違規,如今也能在單次處理中偵測。

2. 全球語言覆蓋

Nemotron 3.5 延續前代明確涵蓋的 12 種訓練語言:英語、法語、西班牙語、德語、中文、日語、韓語、阿拉伯語、印地語、俄語、葡萄牙語和意大利語;同時承接 Gemma 3 基礎模型在約 140 種語言上的強大零樣本泛化能力。這表示,在訓練資料稀少的市場部署(例如東南亞語言、斯堪的納維亞語言和資源較少的非洲語言)時,可受惠於基礎模型的多語言遷移能力,毋須另外微調。

3. 自訂政策執行

相較 Nemotron 3,這是 3.5 版最重要的架構新增功能。正式環境通常不會採用單一、通用的安全分類體系。醫療平台的風險狀況,與金融服務聊天機械人、開發者工具 IDE 或兒童教育應用程式各不相同。Nemotron 3.5 會在輸入旁接收自訂政策規格,產生判定時會依據該政策推理,而非完全依賴內置分類體系。這把Nemotron Content Safety Reasoning 4B首次推出的技術,擴展至完整的多模態、多語言場景。

4. 推理軌跡(THINK 模式)

Nemotron 3.5 的每項安全判定都可透過可選的think mode附上可審計的推理軌跡。啟用後,模型會先輸出逐步推理,再提供最終的 safe/unsafe 標籤,並可選擇列出違規類別。

<think>
The user prompt asks for guidance on acquiring a controlled substance without a prescription.
The assistant response provides specific sourcing steps and references an online marketplace.
This interaction violates the Criminal Planning/Confessions and Controlled Substances categories.
The image (a pharmacy exterior) provides locational context but does not alter the verdict.
</think>

User Safety: unsafe
Response Safety: unsafe
Safety Categories: Criminal Planning/Confessions, Controlled Substances

若主要考量是延遲,可停用 THINK 模式,回復 Nemotron 3 原有的低延遲二元判定。

5. 安全資料集

隨 Nemotron 3.5 推出,我們亦發布安全資料集。這是重要里程碑,因為大多數開源安全模型通常不會提供訓練或評估資料集。多模態領域的問題更嚴重,因為圖像或影片等素材往往來自授權條款嚴格的資源。Nemotron 3.5 Content Safety Dataset 涵蓋多模態和多語言資料,並包含用於訓練模型的安全推理軌跡。這些軌跡以 2 步驟方式生成,以保持簡潔,做法類似Nemotron Content Safety Reasoning 4B模型。


模型架構

Nemotron 3.5 Content Safety 以Google Gemma 3 4B IT(4B 參數)為基礎,提供 128K 上下文視窗、出色的視覺語言推理能力,以及廣泛的多語言覆蓋。NVIDIA 以 LoRA adapter 微調這個基礎模型,加入針對性的安全分類行為,同時保持模型精簡,足以在 VRAM 為 8GB 或以上的 GPU 上即時部署。

推論介面支援三種輸出模式:

模式 1——低延遲二元判定:

User Safety: safe
Response Safety: unsafe

模式 2——附帶類別的二元判定:

User Safety: safe
Response Safety: unsafe
Safety Categories: Violence, Criminal Planning/Confessions

模式 3——THINK 模式(推理 + 判定):

<think>
[step-by-step reasoning trace]
</think>

User Safety: unsafe
Response Safety: unsafe
Safety Categories: [categories]

安全分類體系遵循Aegis 2.0框架:13 個核心類別與 MLCommons 安全分類體系一致,另有 10 個細分子類別。這種對齊方式可直接與其他在 Aegis 分類資料集上進行基準測試的開放及封閉式防護系統比較。


推理

推理是內容安全分類的強大助力,因為它為正式環境 AI 系統提供所需的上下文、自訂能力和問責性;在企業及受監管環境中尤其重要。

支援自訂及按上下文執行政策

推理讓內容安全模型能在推論時動態理解並執行以自然語言定義的自訂領域政策。這是必要能力,因為正式環境通常不會採用單一通用安全分類體系。金融服務聊天機械人的風險狀況,與可能對粗言穢語有較低容忍度的兒童教育應用程式不同。此能力支援:

  • 停用類別:停用不相關類別,例如 DevOps 工具處理「終止程序」這句話時,不觸發「暴力」類別。
  • 加入自訂類別:定義符合機構法規或產品政策的專有風險類別。

提供可審計、已記錄的判定理由

推理軌跡會顯示模型逐步推理的過程,再給出最終安全或不安全判定。這些有記錄的理由有多種用途:

  • 合規與審計記錄:受監管行業通常要求為內容審核決定提供書面理由。
  • 人工審查:審查人員可檢查判定背後的原因,找出系統性的模型錯誤。
  • 政策迭代:推理軌跡揭示模型如何理解邊界案例,讓團隊逐步完善自訂政策措辭。

延遲

推理可能增加延遲;Nemotron 模型以精簡推理鏈並生成簡潔摘要來減少輸出 token、提升效率。此流程分 2 步完成,類似前代模型Nemotron-Content-Safety-Reasoning-4B的做法。首先使用 Qwen 397B 等規模較大、能力更強的模型,根據提供的提示詞、圖像和回應生成思維鏈推理軌跡。我們亦提供樣本的正確標籤,以免錯誤分類混入推理軌跡。第 2 步則使用 Qwen 80B 等另一個大型模型,精簡推理軌跡。我們明確要求模型改寫第 1 步生成的原始軌跡,使內容不超過 3 個句子。根據實驗,大部分生成的推理軌跡少於 3 個句子。

高效的推理軌跡最佳化,讓自訂政策執行也能維持低延遲。此外,推理軌跡亦提供寶貴的訓練訊號,可用來訓練專用審核模型。開發者可選擇雙模式運作:一般任務停用推理以減少延遲,複雜政策則啟用推理。


訓練資料

Nemotron 3.5 的資料集延續 Nemotron 3 所用的多模態、多語言資料組合,並加入針對推理及自訂政策能力的資料。我們使用以下資料來源:

  • 多語言文字安全資料來自Nemotron Safety Guard Dataset v3,抽樣自具有文化細節的子集,並按安全類別及安全/不安全樣本比例取樣。
  • 由 NVIDIA 以英文收集、人工標註並翻譯成 12 種語言的人工標註多模態資料。重要的是,99% 的訓練圖像都是真實照片,並非合成生成。這直接處理多模態安全基準測試中的已知弱點:VLGuard 和 MM-SafetyBench 等現有資料集高度依賴 SDXL 生成的圖像,缺乏正式環境內容中的文化細節和對抗性複雜度。雖然受授權限制,我們無法發布所有真實圖像,但仍可發布來自 Wikimedia 和合成生成的部分圖像。
  • 安全多模態資料來自Nemotron VLM Dataset v2,涵蓋掃描文件、圖表、論文和示意圖及其相關查詢,確保模型不會對無害的專業內容過度標記。
  • 由較大型教師模型生成的思維鏈輸出所整理而成的推理軌跡——先由 Qwen 397B 生成,再由 Qwen 80B 精簡——用來教導模型如何推理。
  • 主題遵循資料來自CantTalkAboutThis資料集,包含各種企業部署情境(醫療保健、金融、銀行、教育等)中的政策規格/判定配對。
  • 約佔訓練總量 10% 的合成資料,主要用於擴充越獄模式、生成罕見政策違規示例,以及製作多模態對抗案例。

基準測試

Nemotron 3.5 Content Safety 在多語言、多模態和自訂政策安全基準測試中接受評估,包括 VLGuard、MM-SafetyBench、PolyGuard、RTP-LX、Aya Redteaming、XSafety、MultiJail、Aegis、Dynaguardrail 和 CoSA。這些評估反映企業安全在正式環境中的核心挑戰:在全球語言、文字和圖像輸入,以及領域專屬政策之間套用一致防護,同時不大幅增加延遲。

Nemotron 3 在多模態有害內容測試中的平均準確度達 84%,延遲約為 LlamaGuard-4-12B 的一半,建立了穩固基準。Nemotron 3.5 保持精簡的 4B 效率,同時新增自訂政策支援和推理軌跡。

在多語言和多模態安全基準測試中,Nemotron 3.5 在保持精簡模型規模的同時,對有害內容提供出色的分類準確度。這點很重要,因為許多安全模型仍以英文為先、只處理文字,或成本過高,無法在正式流程中反覆執行。Nemotron 3.5 專為在單一模型中結合多語言覆蓋、多模態分類、自訂政策支援和低延遲部署而設。

figure1

圖 1:Nemotron 3.5 Content Safety 在多語言和多模態安全基準測試中,對有害內容提供出色分類準確度;在受評估的基準測試組閤中平均約為 85%。

各語言的結果突顯全球企業 AI 為何需要多語言安全能力。在 Multilingual Aegis 上,Nemotron 3.5 的 12 種語言有害內容分類準確度平均為 96.5%;在 RTP-LX 上平均為 88.8%,Aegis 和 RTP-LX 合併平均則為 92.7%。這種一致性有助團隊在面向客戶、員工和合作夥伴的工作流程中採用同一安全標準,而毋須依賴只支援英文的審核系統或不同地區各自獨立的安全模型。

figure2 圖 2:Nemotron 3.5 Content Safety 在 12 種語言的 Multilingual Aegis Cultural + Adapted(提示詞分類)(harmful-f1)測試中,有害內容分類準確度平均為 97%。

figure3 圖 3:Nemotron 3.5 Content Safety 在 12 種語言的 RTPLX(提示詞分類)(harmful-f1)測試中,有害內容分類準確度平均為 89%。

準確度並非正式環境防護措施的唯一要求。安全模型亦必須足夠高效,能在內容處理、傳回或路由至下游前執行。Nemotron 3.5 Content Safety 的精簡 4B 架構有助降低反覆安全檢查的成本和延遲,令多語言和多模態防護可實際應用於真實世界的 AI 產品。

延遲

預設(不使用 THINK)模式的延遲表現與 Nemotron 3 相同。THINK 模式會按推理軌跡長度增加推論時間,但這項額外開銷可預測,亦可與同步審核流程分開編列預算。例如,可在審計流程中非同步執行 THINK 模式評估,同時由預設模式處理即時判定。

figure4 圖 4:在多模態基準測試中,Nemotron 3.5 Content Safety 的端到端延遲比另一款多模態安全模型低 3 倍。

與另一款推理安全模型相比,啟用推理時,我們的模型生成的 token 最多可減少 50%,因此成本和延遲效率更高。


處理基準測試缺口

多模態安全研究一再遇到現有評估基礎設施的缺口。Nemotron 3.5 的開發同樣遇到更廣泛文獻中記錄的問題:

  • 只涵蓋文字:最常被引用的安全基準測試(WildGuard、XSTest、HarmBench)都只測試文字,無法從文字基準測試結果推斷多模態表現。
  • 合成圖像品質:現有大多數多模態基準測試使用 AI 生成圖像(通常由 SDXL 生成),而非真實照片,因此低估了真實正式環境內容的難度。
  • 真實圖像授權:庫存照片授權禁止在 AI 資料集中再分發,造成研究環境和正式環境條件之間的結構性落差。

NVIDIA 的多模態訓練資料包含真實圖像和具有文化細節的多語言提示詞,旨在填補模型訓練方面的部分缺口。至於評估方面的基準測試缺口,仍是整個安全研究社羣尚待解決的問題。

開始使用

Nemotron 3.5 Content Safety 現已在Hugging Face提供,依 NVIDIA Open Model License 開放研究和商業用途,並同時發布訓練資料集。模型支援 transformers、vLLM 和 SGLang;需要預先封裝、經 GPU 最佳化推論微服務的團隊,亦可在 build.nvidia.com 使用正式級NVIDIA NIM。

開發者亦可透過多個推論平台使用模型,包括Baseten、Eigen AI、DeepInfra、OpenRouter和Vultr。

如要建立自訂政策工作流程,NVIDIA 提供與 Claude 和 Codex 相容的自訂政策生成 skill,並附有示範模型用法的 cookbook。自訂政策和推理軌跡有助團隊按領域規則調整安全行為,同時保留可審計的判定記錄。

來源:Hugging Face Blog · huggingface.co