NVIDIA 發佈 Nemotron 3.5 Transcribe 開放權重語音模型及 Granary v2 數據集

NVIDIA 於 October 28, 2026 發布 Nemotron 3.5 Transcribe。這款開放權重語音模型在單一檢查點中結合多語言轉錄、説話者標註、翻譯及音訊問答；NVIDIA 同時發布 Granary v2，這是一套開放語音數據集及資料整理流程，其公開清單涵蓋 48 種語言、共 463,062 小時的音訊。

根據 NVIDIA 在 Hugging Face 上的公告，該模型可轉錄 40 種語言、將其中 31 種語言翻譯成英文或由英文翻譯成該語言，並為 13 種語言標註説話者。模型可處理最長一小時的錄音，並標示最多 8 位説話者。模型卡列明，模型於 October 28, 2026 在 Hugging Face、透過 NVIDIA NeMo Speech 提供的 GitHub、NGC 及 Build.Nvidia.com 發布；權重採用 OpenMDW-1.1 授權，模型可供商業或非商業用途。Baseten、DeepInfra 及 Simplismart 提供託管端點，Hugging Face Spaces 和 ModelScope Studios 則提供互動示範。

架構與提示詞

Transcribe 將語音編碼器與語言主幹模型整合於單一 34B 參數檢查點中，每個 token 約有 4.3B 個參數處於啟用狀態，上下文長度為 65,536 個 token。語音部分結合一個 600M 參數的 Transformer ASR 編碼器、一個約 99M 參數的 Nemotron-3-Diarization 説話者編碼器，以及用於詞語時間戳的連接時序分類（CTC）頭；語言部分則採用 NVIDIA 的 Nemotron-3.5 Lightning 30B-A3B，這是一個混合式 Mamba-2–Transformer 混合專家模型。權重以 BF16 格式提供，另有 FP8 和 NVFP4 量化版本，以及可選的 DFlash2 草稿模型，用於推測解碼。

開發者可透過自然語言提示詞控制輸出：要求逐字稿或經整理的文字稿、提供產品或醫療術語等上下文詞彙、要求加入説話者標籤和詞級時間戳、將語音翻譯成英文或由英文翻譯成其他語言，或就音訊提問。音訊問答只以英文訓練；模型卡的語言矩陣按任務列出 40 種語言的評級，品質級別由「領先」至「支援」，並指出音訊理解及口語指令遵循只以英文評估。模型卡強調，Transcribe 是離線模型：內部將音訊分塊處理，並不代表它是即時串流服務。

訓練使用約 1.72 million 小時去重並編入索引的音訊，涵蓋約 372 million 個樣本，另使用 5.6 billion 個獨立文字 token；數據來源包括 Granary v2、多説話者會議語料庫、音訊理解數據，以及合成的 PII 感知語音。部分訓練數據由 David AI 授權；模型卡指出，David AI 的 DAI-ASR-I18N 評估集並未用於訓練。

NVIDIA 報告的基準測試結果

NVIDIA 表示，在 Hugging Face Open ASR English 排行榜上，Transcribe 是排名第一的開放權重模型，平均詞錯誤率為 5.33%（不計 API 模型）；在多語言測試中，該模型的結果最低，7 種語言的平均 WER 為 4.62%；在模型卡的比較中，開放權重模型的長篇語音結果亦以 10.98% 最低。模型卡自行列出的表格資料於 October 12, 2026 擷取；在 9 個數據集上，英文平均 WER 為 4.71%，優於排名其後的開放權重模型 Qwen3-ASR-1.7B（4.94%）；多説話者平均 cpWER 則為 15.80，DiCoW v3.3 搭配 DiariZen 的結果為 16.83。

在 Artificial Analysis 的語音轉文字指數上，NVIDIA 表示，Transcribe 在開放權重模型中以 2.8% AA-WER 並列第一，每個 token 約啟用 4B 個參數；相比之下，與它並列的模型每個 token 啟用 24B 個參數。至於説話者歸屬方面，公告指出，Transcribe 在 David AI 的 21 種語言 DAI-ASR-I18N 説話者分離評測項目中，於 14 個系統裏錄得最低的説話者分離錯誤率，為 18.26%，略勝 NVIDIA 自家的 Nemotron 3 Diarization（18.38%）；在 VoiceArena 的英語 Diarization-Bench 中，則以 32.4% cpWER 位列 14 個系統之首，刪除率為參考詞語的 8.32%，而中位數約為 31%。

Granary V2 數據集及流程

與模型一同發布的 Granary v2，是支援其訓練的開放數據計劃。其公開清單涵蓋 48 種語言及 16 個來源語料庫，共 463,062 小時；Granary v1 則涵蓋 25 種語言。NVIDIA 指出，這些數字描述的是數據集版本，而非 Transcribe 完整的訓練數據組合。這套流程以 NVIDIA NeMo Curator 建構，每段錄音會生成三種轉錄稿（經文字正規化的逐字稿、保留不流暢語句的反向正規化稿，以及不含不流暢語句的反向正規化稿），並生成説明文字、語碼轉換還原內容、以語音為依據的問答配對、上下文偏置詞，以及附有自動品質評分的翻譯。

流程分為四個階段：準備元數據及音訊；使用主要及備援 ASR 模型進行轉錄，並以幻覺檢查作為把關；生成任務標籤並進行一致性檢查；以及進行高保真篩選。在 VoxPopuli 語料庫中，篩選將 354,000 小時的數據減至 111,000 小時，涵蓋 22 種歐洲語言。清單包含實體提示、指令配對、來源資訊及每筆記錄的品質標記；來源音訊須按照各語料庫原有的授權條款另行下載，而流程則使用 Ray 和 NVIDIA Dynamo 後端執行。

醫療微調案例研究及部署

為展示模型調適方式，NVIDIA 的公告介紹了一項醫療案例研究，使用 Eka Care 的開放基準，當中有來自印度醫生及醫科生的 3,619 段錄音。在提示詞中指定英語及拉丁字母，令整個基準的 WER 從 30.8% 降至 23.8%；經微調後則降至 11.8%。在使用 Eka Care 的 KARMA 流程評分的 2,764 段留出片段上，微調令 WER 從 22.44% 降至 12.17%，相對降幅為 45.8%；關鍵詞 WER 從 9.2% 降至 6.5%，語義 WER 則從 10.0% 降至 7.6%，而 LibriSpeech test-clean 的 WER 則由 1.54% 微升至 1.69%。這項調適結合了約 153 小時的合成語音、來自 Common Voice 的 29 小時帶口音英語，以及來自 MultiMed 的 63 小時醫療錄音，並在一部 NVIDIA GB300 上使用約 14 GPU 小時完成。

模型可在單張 NVIDIA GPU 上運行，涵蓋 Jetson AGX Thor、DGX Spark 以至 Blackwell 數據中心繫統。NVIDIA 表示，採用經最佳化的 NIM 實作時，單張 RTX PRO 6000 Blackwell Server Edition GPU 配合 NVFP4 精度及 DFlash2 推測解碼，每秒最多可轉錄 2,238 秒音訊；公告稱，模型以 NVFP4 處理 30 秒片段，在高並發下可於三分鐘內處理 100 小時音訊。模型卡指出，這些服務最佳化目前尚未納入開源版本。服務採用 vLLM 0.32.0 配合 NeMo Speech 外掛程式，或透過 NeMo-Speech.cpp 進行本機推理；微調 Agent 技能可讓編碼 Agent 執行適配工作流程，而 ModelScope 則透過其 ms-swift 框架支援微調。