Elith 與 NVIDIA 發佈 Nemotron-Personas-Finance-Japan 合成資料集
Nemotron-Personas-Finance-Japan: A Synthetic Dataset Capturing Japan's Demographics and Financial Context
Elith 與 NVIDIA 發佈 Nemotron-Personas-Finance-Japan,這是一個以日本官方統計及家庭金融資訊為基礎、供金融 AI 開發使用的合成人物資料集。資料集共包含 9M 個人物設定,每筆記錄涵蓋 50 個欄位,並以 CC BY 4.0 授權提供商業及非商業使用。它可用於建立客服智能體、評估銷售對話和市場推廣、進行用戶模擬,以及紅隊測試面向客戶的 AI。
資料集把日本官方人口與勞動統計、家庭財務及金融素養欄位結合,並列出客服智能體、用戶模擬和公平性測試等具體用途。
以現實世界分佈為基礎的日本人物設定複合式 AI 方法
開放數據打破私隱障礙,為金融 AI 鋪路
在金融業,現實世界數據的使用受到嚴格的私隱法規、合規要求,以及對深厚領域專業知識的需求等因素重大限制。在此背景下,金融領域的代理式 AI 發展需要合成數據,既能避免使用真實數據的風險,又能反映人口特徵、家庭結構及資產狀況,重現多元而真實的金融情境。
為應對這些挑戰,Elith 與 NVIDIA 發佈了 Nemotron-Personas-Finance-Japan,作為開源人物設定數據集「Nemotron-Personas-Japan」的金融領域擴展版本。據我們所知,這是首個達百萬筆規模、將日本官方統計與家庭財務及金融素養數據結合的開放人物設定數據集。此數據集以官方政府統計為基礎,使用合成數據生成(SDG)概率圖模型框架 NeMo SDG-PGMs 及企業級合成數據生成系統 NeMo Data Designer 開發。此外,為提升數據集在金融應用場景中的實用價值,其設計融入了日本主要金融機構及業界協會提供的見解和意見,包括 Sompo Japan、Tokio Marine Holdings、Bank of Fukuoka、Mizuho Financial Group、Meiji Yasuda Life Insurance,以及 Financial Data Utilization Association (FDUA)。
此數據集拓展了日本開發人員及企業的開發環境,讓他們無須使用真實客戶數據,便可開發和評估切合本地及行業需求的 AI。數據集以 CC BY 4.0 授權發佈,可用於商業用途。無論是建立對話代理、進行客戶模擬,還是評估模型,都有助實際金融 AI 開發。Nemotron-Personas 系列(包括 Nemotron-Personas-Finance-Japan)旨在與用戶模擬框架 NeMo User Sim 無縫整合,讓用戶可即時執行根據多種符合現實世界的分佈抽取的模擬。
數據集包含甚麼?
- 共 9M 個人物設定(1M 筆記錄 x 每筆 9 個人物設定),以自然日語撰寫
- 每筆記錄有 50 個欄位:9 個人物設定欄位、11 個人物設定屬性,以及 30 個根據官方人口及勞動統計數據建立的背景欄位
- 總計約 1.5B 個詞元,包括約 750M 個人物設定詞元
- 約 950k 個不重複姓名
- 1600+ 個職業類別,反映日本的勞動人口
- 全面涵蓋人口特徵、地區、資產分佈及人格特質等維度
- 多元人物設定類型:職業、體育、藝術、旅遊、烹飪、金融、財務行為及財務關注事項
- 以自然語言描述的人物設定屬性:文化背景、技能及專業知識、職涯目標與抱負、嗜好及興趣、家庭/父母/財務背景、金錢觀及財務規劃
- 根據 CC BY 4.0 授權條款,可作商業及非商業用途
我們如何建構
數據生成流程
本數據集使用 NVIDIA 的合成數據生成框架 NeMo Data Designer 建構。這個複合式 AI 系統支援複雜的 Jinja 範本處理、Pydantic 驗證、結構化輸出、自動重試,以及多種生成後端。要生成如此大規模的合成數據集,這些工具不可或缺。此外,亦使用了以下模型:
- NeMo SDG-PGMs (Apache-2.0):以機率圖模型為基礎的框架,用於生成有統計依據的數據
- gemma-4-31B-it (Apache-2.0):用於生成日語文字
強化文化脈絡
Nemotron-Personas-Finance-Japan 的設計參照了日本官方人口及勞動統計數據,同時考慮 AI 訓練所需的重要因素:
- 教育:國家統計通常只粗略匯總學歷程度,因此我們加入更細緻的分類,讓模型能反映多元的教育路徑。
- 職業:我們加入更多類別(例如企業主及專業職業),擴大用於訓練的職業範圍。
- 人生階段:我們建模一些在統計數據中較少突顯的情況,例如學生、退休人士及失業時期,以呈現更真實的人物設定。
- 家庭財務:除了個人收入及消費傾向,我們亦加入家庭層面的財務及實物資產,以呈現多元的經濟背景。
- 數碼及金融素養:加入互聯網及智能手機使用情況,以及金融素養,讓模型能在金融應用場景中準確呈現消費者概況。
以私隱保障為本的設計
每個人物設定均為完全合成,不代表任何真實人物,而且數據集的設計旨在降低私隱風險。人口統計資料及家庭財務狀況依據官方統計數據及公開調查數據;姓名則遵循日本人的實際命名模式。人物設定是根據這些分佈建立,而非取自真實人物的紀錄。
適用對象
Nemotron-Personas-Finance-Japan 首要服務在日本開發金融 AI 的團隊,包括銀行和保險公司,以及為它們提供服務的初創公司和系統整合商。每個人物設定除了人口統計資料,亦包含家庭財務狀況及金融素養。團隊可利用這些資料建立客戶服務 Agent、評估銷售對話/市場推廣活動、在 NeMo User Sim 執行用戶模擬,以及對面向客戶的 AI 進行紅隊測試。
這次發布亦適用於任何面向日本用戶開發產品的人士。數據集包含 9M 個人物設定,比 Nemotron-Personas-Japan 多 50%;欄位數目為 50 個,而非 22 個。這讓任何日語項目都能取得更細緻的人口分類,用於訓練和測試。
實際 AI 應用
這個數據集中的合成人物設定可用於:
- 多輪對話:以人物設定作為「種子」,生成類似真人對話的數據集。
- 特定領域 AI 開發:生成數據集,以建立針對金融應用場景中真實情境而設的 AI 助手。
- 偏差測試與公平性:評估模型及 AI Agent 系統在城鄉差異、不同年齡組別、教育背景及經濟狀況下的表現,檢視 AI 在日本社會各個羣體中能否保持一致表現。
為何重要
長期以來,取得反映現實人口的多元高質素訓練數據,一直是 AI 開發面對的挑戰。企業 AI 開發主要依賴私有數據,令研究人員、新創公司,尤其是可用數據有限地區的 AI 開發者面對障礙。
- 數據多樣性:涵蓋日本人口的完整面貌,有助減少訓練偏差及模型崩潰的風險。
- 文化真實性:減少依賴以西方為中心的數據集,並支持開發主權 AI 系統。
- 私隱與治理:符合日本以創新為先的 AI 治理方針。每個人物角色均為合成角色,因此建立或測試時均毋須使用客戶資料。
以 CC BY 4.0 授權發布 Nemotron-Personas-Finance-Japan,讓大眾取得企業級高質素合成數據,賦予任何人以較低成本及較低私隱風險,建立以文化為本的 AI 系統。
與 Nemotron-PII-Japan 配合使用
Nemotron-PII-Japan 同日推出,包含 100,000 份合成日本商業文件,並標註個人資料,供訓練及測試偵測和遮蓋模型使用。這些文件以 Nemotron-Personas-Japan 為基礎。使用 Nemotron-Personas-Finance-Japan 模擬客戶,再使用 Nemotron-PII-Japan 測試你的數據管道如何保護他們的資料。
開始使用 Nemotron-Personas-Finance-Japan 開發
你可以使用以下命令下載此數據集,協助開發真正理解日本文化與語言的 AI。
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-Personas-Finance-Japan")
建立可投入正式環境的應用程式之用途:
- 以人物設定作為生成對話的種子
- 使用以文化為本的數據微調模型
- 建立反映日本整體人口結構的個人化引擎
- 開發具備日本語境的特定領域 AI Agent
從在日本開發 AI 的團隊,到希望在更廣泛地區部署產品的全球開發者,Nemotron-Personas-Finance-Japan 數據集為你的應用程式提供所需的真實且重視私隱的基礎。
來源:Hugging Face Blog · huggingface.co
