NVIDIA 推出 Nemotron 3.5 Transcribe，並公開 Granary v2 多語言語音資料及整理流程

一款支援多語言轉錄、説話者歸屬、翻譯及音訊問答的開放模型，在排行榜上取得頂尖成績；另提供開放的 Granary v2 數據管線及微調方案，方便調整模型。

逐字稿即使記錄了每個説出的字，仍可能令用戶或應用程式無法確定誰説了甚麼、如何翻譯，或如何處理特定領域術語的格式。多語言通話、節奏急促的會議和醫療聽寫，各自需要不同的輸出，例如翻譯、説話者標籤，或拼寫正確的醫療術語。

NVIDIA Nemotron 3.5 Transcribe 是一款開放權重、可透過提示詞引導的模型，能將錄製的語音轉成實用文字，現已於 Hugging Face 和 ModelScope 上推出。它在同一個模型檢查點中整合了轉錄、説話者歸屬（説話者分離）、翻譯及音訊問答：支援轉錄40種語言、將其中31種語言與英文互相翻譯，以及識別13種語言中的説話者。它可處理長達一小時的錄音，並標示最多八位説話者。開發者可以用自然語言引導輸出、選擇音訊的處理地點，並調整模型以識別特定領域詞彙和口音。

在英文測試中，Transcribe 在 Hugging Face Open ASR Leaderboard 上排名開放權重模型之首，並位於 Artificial Analysis 的準確度與活躍參數量前沿。在説話者歸屬方面，它在 David AI 的 21 種語言説話者分離排行榜上取得最低錯誤率，並在 VoiceArena 的 14 個系統比較中排名第一。它可在單張 NVIDIA GPU 上運行，適用於 DGX Spark 至 Blackwell 數據中心繫統。

Granary v2 的多語言數據（可於 Hugging Face 和 ModelScope 取得）及可重用的資料整理管線，連同 NeMo Speech 微調工具，將提示詞層面的控制延伸至訓練：開發者可以指定所需的書寫形式，並調整模型以適應應用程式遇到的語音。在一項醫療個案研究中，微調令模型在留出説話者上的字錯誤率（WER）較最佳提示詞降低45.8%。

以自然語言引導轉錄和分析

只需更改指令，同一個模型檢查點便可將一段會議錄音轉成不同輸出：

「轉錄這段錄音，並標示每位説話者。」
「將這段音訊翻譯成英文。」
「這次會議作出了哪些決定？」

以下影片展示模型的實際表現：它處理了1940年瘋狂喜劇《His Girl Friday》中的經典場景。這部電影以語速極快、對白大量重疊而聞名。

Nemotron 3.5 Transcribe 為《His Girl Friday》(1940)中的一幕生成字幕並標示説話者，包括重疊的對白。

遇到不熟悉的詞語時，可先嘗試提供上下文，再進行訓練。例如在醫療環境中：

Transcribe this medical discussion in the original language. Possible terms: HbA1c, metformin. Use these terms only when supported by the audio. Preserve standard medical spelling and write numbers in conventional written form.

模型卡列出建議的預設設定，包括音訊問題的推理設定，並附有完整的提示詞指南及按任務和語言劃分的矩陣：不同任務支援的語言各異，而音訊問答的訓練語言為英文。模型亦支援詞級時間戳。與任何語音模型一樣，請對照錄音抽查人名、説話者轉換及答案。

由即時課堂到持久學習。 Agora 的即時語音及影片平台為應用程式中的即時對話提供支援。Agora 在課堂示範中使用逐詞時間戳記：Nemotron 3.5 Transcribe 將錄製課堂轉成逐字稿，並與重播影片並列顯示，讓學生查看説了甚麼，以及何時説的。Agora 的網誌介紹了他們如何打造這項功能。

排行榜佳績：從語音轉錄到説話者歸屬

在開放權重模型中，Transcribe 在語音內容轉錄方面領先；在辨識説話者方面，則在兩項説話者歸屬基準測試中均獨佔榜首。

Hugging Face Open ASR Leaderboard。 這個排行榜以公開測試集上的詞錯誤率（WER）衡量轉錄準確度，設有三個項目：

英語：在開放權重模型中排名第一，平均 WER 為 5.33%（圖 1）。
多語言：七種語言的平均 WER 為 4.62%，在模型卡的 Open ASR 比較中，是納入評估的開放權重模型中最低的。
長篇語音：平均 WER 為 10.98%，同樣是該比較中最低的。

圖 1. Nemotron 3.5 Transcribe 在Hugging Face Open ASR Leaderboard（英語）上於開放權重模型中排名第一，平均 WER 為 5.33%；API 模型不計在內。WER 越低，代表轉錄錯誤越少。

Artificial Analysis Speech-to-Text Leaderboard。 Artificial Analysis 以 AA-WER（其詞錯誤率指標）對語音轉文字模型進行獨立排名。Nemotron 3.5 Transcribe 以 2.8% AA-WER 在開放權重模型中並列第一，活躍參數約為 4B，而與它並列的模型有 24B。在 AA-AgentTalk 這個留出的語音代理語音集上（佔 AA-WER 指數的 50%），Transcribe 的 WER 為 1.8%，下一名開放權重模型則為 2.3%。Transcribe 將語音編碼器與混合式 Mamba–Transformer 混合專家語言模型結合，因此每個 token 只會啟用其 30B 參數中的約 4B。這令它位列Artificial Analysis開放權重模型中準確度與活躍參數的 Pareto 前沿。在 AA 的全模型圖表中，它的排名高於數個廣泛使用的專有語音 API。

圖 2. AA 準確度領先，活躍參數約只有六分之一：Nemotron 3.5 Transcribe 以約 4B 活躍參數達到 2.80% AA-WER。

跨語言及重疊語音的説話者歸屬。 Sortformer 的説話者線索會與聲學特徵一同傳入語言模型，因此 Transcribe 能在生成過程中為每個話輪標記説話者，而不必單靠後續步驟為詞語附上説話者標籤。

David AI DAI-ASR-I18N Leaderboard。 在David AI 的 DAI-ASR-I18N 轉錄與説話者歸屬綜合項目中，Transcribe 在納入評估的開放權重模型中排名第一，總排名第二。在基準測試的説話者分離項目中，系統須評估 21 種語言中誰在何時發言；在受測的 14 個系統中，Transcribe 的説話者分離錯誤率最低，略勝 NVIDIA 專用的Nemotron 3 Diarization模型。

圖 3. NVIDIA 模型佔據David AI 多語言説話者分離排行榜的首兩位：Nemotron 3.5 Transcribe 在 21 種語言中的整體説話者分離錯誤率（DER）最低，為 18.26%；其次是Nemotron 3 Diarization，為 18.38%。DER 衡量説話者及時間方面的錯誤，數值越低越好。

VoiceArena Diarization-Bench。 在 VoiceArena 的英文完整錄音基準測試中，Transcribe 的串接式最小排列詞錯誤率（cpWER）在 14 個系統中最低，並在實體及線上環境均排名第一。它刪漏的詞語亦最少：相對參考逐字稿中的詞語，刪除率為 8.32%，而中位數約為 31%。

$VoiceArena_Track2_cpWER_ranking_1Bar chart from VoiceArena’s Diarization-Bench v1 ranking 14 diarization-plus-ASR systems on English full sessions with overlapping speech by concatenated minimum-permutation word error rate (cpWER), where lower is better. NVIDIA Nemotron 3.5 Transcribe ranks first at 32.4%, followed by NVIDIA Multitalker Parakeet \+ Nemotron 3 Diarization at 34.2%; the remaining systems range from 34.7% to 71.9%$

圖 4。NVIDIA 模型在VoiceArena 的 14 系統比較中佔據首兩位：Nemotron 3.5 Transcribe 以 32.4% cpWER 領先，其次是 NVIDIA Multitalker Parakeet with Nemotron 3 Diarization，cpWER 為 34.2%。Diarization-Bench v1 涵蓋完整英文錄音、重疊語音及 2–8 位説話者。cpWER 會在配對説話者標籤後計算詞語錯誤；數值越低越好。

更多評測。 Ocular AI 的 Converse-STT 評測將 Transcribe 列為排名最高的開放模型。Josh Talks 的 Voice of India 排行榜列出 Transcribe 在多種印度語言中的結果。

由邊緣裝置到數據中心均可執行。 Transcribe 可在單張 NVIDIA GPU 上執行，涵蓋 Jetson AGX Thor、DGX Spark，以至 Blackwell 數據中心 GPU。使用一張採用 NVFP4 精度的 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 時，它可在三分鐘內處理 100 小時音訊；測量方式是在高並行度下處理 30 秒音訊片段。

目前可使用 vLLM 提供此檢查點的服務，或使用 NeMo-Speech.cpp 在本機執行。Transcribe 專為錄製音訊而建，並非用於即時串流。

特定領域的錄音仍可能需要按領域詞彙及逐字稿慣例作出調整。Granary v2 和 NeMo Speech 微調可處理這項需求，並從 Transcribe 背後的數據着手。

Granary v2：Transcribe 背後的開放數據整理流程

支援提示詞的語音模型需要格式目標明確無歧義的訓練資料。Granary v2 是 Hugging Face 上的 Nemotron speech collection 及 ModelScope 的一部分。這個資料集以 NVIDIA NeMo Curator 建置的可重用流程整理多語言語音，供 Nemotron 3.5 Transcribe 訓練使用，並產生對齊的轉錄文本變體、任務標籤，以及可供檢視的品質中繼資料。公開清單涵蓋 48 種語言、16 個來源語料庫，共 463,062 小時；相較之下，Granary v1 涵蓋 25 種語言。這些數字描述的是此資料集版本，並非 Transcribe 的完整訓練資料混合或其抽樣權重。

Granary v2 會為每段錄音產生三種逐字稿形式（表 1），開發者也可以透過提示詞，要求 Transcribe 使用相同的逐字稿及清理版本。除了轉錄外，該流程亦會產生簡短音訊説明文字、語碼轉換中的外來詞還原、以語音內容為依據的問答配對、具語境的 ASR 偏置詞項，以及附有自動品質評分的翻譯。

訓練目標	示例逐字稿
文字正規化、逐字轉寫	我付了，呃，二十五歐元。
反向文字正規化，保留不流暢語	我付了，呃，€25。
反向文字正規化，不保留不流暢語	我付了 €25。

表 1。Granary v2 對同一句話使用的訓練目標。

此流程分為四個可重用階段：

1. 音訊準備（中繼資料）：切分原始或長篇音訊、追蹤整段錄音中的説話者，並標註聲學事件及語言。Granary v2 的來源已完成切分，因此這個版本略過此階段。
2. 轉錄（ASR）：為每種語言指定主要及備援 ASR 模型；主要模型未能通過幻覺檢查時，便改用備援模型。人工參考轉錄稿有助保留可信的拼寫，同時加入口語形式及不流暢現象。
3. 任務標籤生成（文字）：衍生不同版本的轉錄稿，然後檢查字元速率、幻覺模式，以及與模型或人工參考稿的一致程度。只有獲接納的記錄才會加入情境式 ASR 詞彙及翻譯。
4. 高保真度（HiFi）：篩除有噪音、遭截斷或包含多位説話者的片段，保留較小規模的高質素錄音集，供 ASR 以外的用途使用。對於 VoxPopuli 數據集，這個步驟將 22 種歐洲語言的數據由 354k 小時縮減至 111k 小時。

圖 6. Granary v2 數據整理流程：追蹤一個樣本由原始音訊，經過中繼資料、ASR 及文字階段，直至成為訓練範例。

開發人員可在自己的錄音或獲授權的公開語料庫上，使用 Ray 和 NeMo Curator pipeline 的 NVIDIA Dynamo 後端；亦可利用 Granary v2 公開清單開展工作。清單包含三種轉錄形式（tn_raw、itn_raw 和 itn_clean）、上述標籤、實體提示、衍生的指令配對、來源資訊，以及每筆記錄的品質標記。請按照各語料庫原有的授權條款另行下載原始音訊，並遵守發布版本公佈的條款。

讓辨識配合重要詞彙

先使用開發集提示詞，指定語言、文字系統及轉錄格式。在下方的案例研究中，於提示詞指定英語及拉丁字母，令整個基準測試的 WER 由 30.8% 降至 23.8%。對於仍然存在的領域錯誤，NeMo Speech 微調工作流程會將具代表性的語音與明確的文字目標配對。

NeMo Speech 醫療 ASR 案例研究展示了這個逐步改善的過程，使用的是 Eka Care 的公開基準測試；該基準測試收錄印度醫生及醫科學生的錄音，共有 3,619 段片段，並沒有指定訓練集切分。研究利用生成的醫療文本及公開藥物目錄建立適配數據，再結合約 153 小時的合成語音、來自 Common Voice 的 29 小時帶口音英語，以及來自 MultiMed 的 63 小時醫療錄音。

圖 7. 在 Eka Care 印度醫療語音基準測試的完整測試集上，改善提示詞令 WER 由 30.8% 降至 23.8%；微調則進一步降至 11.8%，比模型開箱即用時少約 62% 的轉錄錯誤。完整測試集包含用於選擇提示詞及模型檢查點的 855 段調整片段；下方的留出結果來自較乾淨的測試集。

合成語音生成會將書面目標與其口語呈現方式分開：「HbA1c」是標籤，而傳送至合成器的文字則是「H B A one C」。使用多種 TTS 聲線可增加音訊多樣性；真實錄音則帶來不同口音及錄音環境。訓練文本會經過篩選，剔除與基準測試參考稿完全相同的內容，以及包含相同八詞序列的內容。

與 Granary v2 明確設定的目標一樣，訓練範例會改變數字、單位間距、公司名稱的完整寫法，以及品牌名稱中的連字號，並透過指示指定所需的慣例。部分提示詞會包含術語清單及容易混淆的幹擾項，讓模型學會只在音訊有根據時才採用某種拼法。最終系統使用一個固定的慣例提示詞，並進行一次模型推理，不使用檢索或轉錄結果後處理。

此訓練方案會訓練語音編碼器及投影層，並使用 LoRA 調整語言模型。兩次訓練採用不同的數據組合；合併適配器後，會將選定的檢查點等權平均，整合成一個最終模型。檢查點的選擇依據解碼後的開發集結果，而非單看訓練損失。從生成文字到完成評估，整個調整過程在一部 NVIDIA GB300 上約需 14 GPU 小時。

領域效能提升，以保留説話者的測試結果衡量

研究按説話者將基準測試集分為 855 段調校片段（用於選擇提示詞和檢查點），以及 2,764 段保留片段；每個最終系統只會解碼一次保留片段。使用 Eka Care 的 KARMA 評分流程，微調將保留集 WER 從最佳提示詞基線的 22.44% 降至 12.17%，相對減幅達 45.8%，是效能提升能推廣至新説話者的最有力證據。關鍵詞 WER 從 9.2% 降至 6.5%，語義 WER 則從 10.0% 降至 7.6%。在相同的保留説話者和評分器上，調整後模型的 WER 為 12.17%，優於開放式醫療專用模型（13.79%）及廣泛使用的通用 ASR 模型（14.92%）。

在一般英語上，LibriSpeech test-clean 的 WER 輕微上升，從 1.54% 升至 1.69%。在品牌藥物和診斷項目的完全匹配方面，醫療專用模型仍然領先；研究指出，下一步是使用臨牀人員説出品牌名稱的真實錄音。若要應用於自己的領域，請保留至少 100 段已標註的真實片段以選擇檢查點，並在評估應用所依賴的實體類型時，同時檢查一般語音能力是否得以維持。

此案例研究提供了重現各個步驟所需的命令。微調教學涵蓋訓練方案、資源需求，以及用於訓練、匯出和評估的工具，也包括新語言和語碼轉換 ASR。隨附的 Agent 技能可讓程式編碼 Agent 執行整個工作流程，從選擇基線和檢查數據，到驗證訓練、合併適配器及評估。

ModelScope 亦讓開發者透過其 ms-swift 框架微調 Nemotron 3.5 Transcribe，以用於專門的多模態應用。

開始使用 Nemotron 3.5 Transcribe 和 Granary v2

在 Hugging Face 示範版，或 ModelScope Studios 試用 Nemotron 3.5 Transcribe，然後從 Hugging Face或 ModelScope下載檢查點，並按照 vLLM 部署指南提供服務。

如要跳過自行託管，可使用 Baseten、DeepInfra或 Simplismart 提供的託管端點。

如要將模型調整至自己的領域，可從 Hugging Face或 ModelScope上的 Granary v2 manifest 檔案及醫療 ASR 案例研究開始；也可使用微調 Agent 技能，讓程式編碼 Agent 執行整個工作流程。

模型與數據集

模型檢查點： NVIDIA Nemotron 3.5 Transcribe：Hugging Face、ModelScope | Hugging Face 上的互動示範、ModelScope
託管端點： Baseten、DeepInfra、Simplismart \
數據集清單： Granary v2 清單：Hugging Face, ModelScope
高保真子集： 清單：Hugging Face, ModelScope | Hugging Face 上的 Space