跳到正文
Hugging Face Blog·· 2025-10-14精選AI 評分63

NVIDIA 發佈 Nemotron-Personas-India 印度合成人物設定數據集

Nemotron-Personas-India: Synthesized Data for Sovereign AI

AI 導讀

NVIDIA 發佈 Nemotron-Personas-India,一套依印度人口、地理及文化分佈合成的人物設定數據集,採用 CC BY 4.0 授權。數據集包含 21 million 個人物設定(3M 條記錄、每條 7 個設定),支援英語及以天城文、拉丁字母書寫的印地語,並有 27 個欄位和 7.7 billion tokens。

推薦理由

數據集以印度人口、地域分佈為基礎,涵蓋英語及兩種文字形式的印地語,並採 CC BY 4.0 授權,呈現其作為區域模型訓練素材的語言覆蓋與使用條件。

正文 · 繁體中文

Nemotron-Personas-India 以複合式 AI 方法建構印度人物設定,並以真實世界分佈作為依據

為印度 AI 未來提供開放資料

印度是全球最大的 AI 發展機遇之一,擁有超過 7 億名互聯網用戶、多種語言,以及迅速壯大的開發者生態系。然而,大多數開放資料集反映西方規範及僅限英文的語境,造成資料缺口,限制 AI 在印度多語言、多文字系統環境中的應用。

今天,我們發佈 Nemotron-Personas-India,這是首個開放的印度語系人物設定合成資料集,並按照印度真實世界的人口、地理及文化分佈建立。資料集採用 CC BY 4.0 授權,為擴展反映印度社會的 AI 系統提供保護私隱、符合監管要求的基礎,無須依賴敏感個人資料。

Nemotron-Personas-India 以 NVIDIA 企業級合成資料生成微服務 NeMo Data Designer 建構,並擴展我們的全球 Sovereign AI 資料集系列。它延續我們 美國及日本人物設定資料集的成果,並加入專為印度豐富文化景觀而設的新功能。

這個資料集可與 Nemotron models 及其他開源 LLM 無縫整合,方便為印度使用情境微調 AI 系統,應用範圍由多語言聊天機械人,以至融入本土文化的專用副駕駛工具。

這次發佈補充了我們較早前推出的一系列印地語評測資料集,包括 ChatRAG-Hi、IFEval-Hi、MT-Bench-Hi、GSM8K-Hi 及 BFCL-Hi,支援印度 AI 系統從合成資料生成到嚴謹模型評估的完整流程。

資料集內容

image/png

  • 人物設定總數:2,100 萬(300 萬筆紀錄 × 每筆 7 個人物設定)
  • 多語言支援:英文及印地語,並支援天城文和拉丁字母兩種文字系統
  • 每筆紀錄有 27 個欄位:人物特徵及背景屬性以官方人口普查和勞工統計為依據,包括年齡、性別、教育程度、職業、邦、縣等資料
  • 總計 77 億個 token, 其中人物設定 token 為 29 億
    • 英文:總計 10 億個 token,其中人物設定 token 為 3.94 億
    • 印地語(天城文):總計 47 億個 token,其中人物設定 token 為 18 億
    • 印地語(拉丁字母):總計 20 億個 token,其中人物設定 token 為 7.46 億
  • 約 56 萬個獨特全名,反映印度廣泛的語言多樣性
  • 2,900 個職業類別,涵蓋非正式、正式及傳統行業
  • 涵蓋印度全部 36 個邦及 640 個縣
  • 自然語言欄位:文化背景、語言背景、技能與專長、嗜好與興趣
  • 人物設定類型:包括一般、專業、語言、烹飪、體育、藝術及旅遊人物設定
  • 採用 CC BY 4.0 授權,可用於商業及非商業用途

建構方式

資料生成流程

本資料集使用 NVIDIA 的合成資料生成微服務 NeMo Data Designer 製作。這套複合式 AI 系統支援複雜的 Jinja 範本、Pydantic 驗證、結構化輸出、自動重試及多種生成後端,提供擴展至如此大型合成資料集所需的工具。我們亦採用了以下模型:

  1. 機率圖模型(Apache-2.0),用於統計基礎校準
  2. GPT-OSS-120B(Apache-2.0),用於以英文、印地語(天城文)及印地語(拉丁字母)生成敍事內容

融入文化背景

本資料集按照印度 2011 年人口普查的官方人口分佈校準,並擴充加入有助可信 AI 訓練的重要屬性:

  • 教育程度:擴展學位程度分類,以反映印度多元的升學途徑
  • 職業:涵蓋正式、非正式及傳統行業,例如耕種、裁縫及街頭販賣
  • 人生階段:包括學生、家庭主婦或主夫、退休及失業等類別
  • 文化特徵:家庭結構、地區節慶、婚嫁傳統及規範
  • 數碼落差:按城鄉、年齡及收入差異建立使用模式
  • 語言多樣性:為每個合成人物設定納入其第一、第二及第三口語的豐富多樣性

以私隱為本的設計

沒有真實姓名,也沒有重新識別個人的風險。

所有人物設定均為完全合成資料。雖然資料依據 2011 年人口普查及 印度選民名冊解析資料中的真實世界分佈建立,但沒有任何資料與在世或已故人士相關。這讓開發者可在沒有私隱風險或監管障礙的情況下,安心訓練 AI 系統。

適用對象

為印度而建,面向世界

Nemotron‑Personas‑India 專為開發 Sovereign AI 系統、服務印度市場的開發者而設,也適合希望按印度獨特語言、文化及社會背景調整模型的全球團隊。

現時大多數開放資料集反映英語使用者及西方規範,限制 AI 在印度多語言、多文字系統及人口結構複雜的環境中的效能。

AI 的實際應用

使用 Nemotron‑Personas‑India,團隊可以:

  • 生成採用印度語言及文字系統的多元、逼真訓練資料
  • 微調模型,掌握本地社會、職業及文化細節
  • 建立能跨印度不同社羣泛化的地區感知型 AI 代理程式
  • 開發配合印度專業及公共服務流程的特定領域副駕駛工具
  • 建立多語言系統,能處理複雜的多輪對話,並適應不同程度的數碼熟練度

重要性

印度有 14 億人口,使用數以百計的語言,生活在文化、經濟及地理差異極大的環境中。印度國家 AI 門戶估計,超過 7,000 間 AI 初創企業及研究機構正致力開發切合本地需要的 AI 系統;Digital India 倡議及 IndiaAI 等政府計劃亦正加快普及。

然而,進展受一項根本缺口限制:欠缺能反映印度人口現實、具文化根基的高質素訓練資料。沒有具代表性的資料集,AI 系統便難以處理英文和印地語之間的語碼轉換,無法理解地區職業分類,也會忽略建立信任和推動採用所需的文化背景。

資料集透過反映印度真實的地理及人口分佈,提升合成資料的多樣性、減少偏差,並防止 模型崩塌(未經篩選地使用其他模型輸出訓練所造成的退化)。

Nemotron-Personas-India 支援印度模型建構者開發 Sovereign AI 系統,並納入重要的地區人口特徵及文化背景。

開始使用 Nemotron-Personas-India 建構應用

想建立了解印度文化、語言及人民的 AI 系統嗎?

立即開始試用:

from datasets import load_dataset

# English personas
nemotron_personas_en = load_dataset("nvidia/Nemotron-Personas-India", "en_IN")
# Hindi personas in Devanagari
nemotron_personas_hi_deva = load_dataset("nvidia/Nemotron-Personas-India", "hi_Deva_IN")
# Hindi personas in Latin
nemotron_personas_hi_latn = load_dataset("nvidia/Nemotron-Personas-India", "hi_Latn_IN")

無論你是開發 Sovereign AI 的印度模型建構者,還是希望提升地區採用率的全球開發者,Nemotron-Personas-India 都能為你的應用程式提供真實且保障私隱的基礎。

下載資料集、微調模型,建構瞭解印度的 AI。如果你想進一步探索,Nemotron-Personas-India 的擴展版本(例如包括名字與姓氏、宗教及合成地址)可透過 NeMo Data Designer 取得。

來源:Hugging Face Blog · huggingface.co