NVIDIA 推出 Kumo Relational，無需任務專屬訓練即可預測關聯數據

重點摘要

NVIDIA Kumo Relational 是一款預先訓練的關係式基礎模型，可直接在企業資料庫上作出預測。只需提供預測查詢，它便會收集最多 10,000 個歷史範例作為上下文，並透過單次前向傳播預測客戶流失、需求或詐騙等結果。它不需要針對特定任務訓練、不需要特徵工程，也不需要將資料表攤平。Kumo Relational 是首個在常見關係式基準測試中勝過監督式機器學習的少樣本基礎模型。在 15 個資料庫的 41 項任務中，它勝過監督式關係式深度學習模型及由專家設計的梯度提升樹流程；在 SAP SALT 企業基準測試中，其平均倒數排名（MRR）更比 AutoGluon 集成模型高出 8%。它可擴展至擁有 500B+ 行的資料庫，亦適用於人類和 Agent；用戶可透過 NVIDIA 的開源 GPU 原生結構化數據模型程式庫使用，或以 NVIDIA NIM 使用。

論文： https://arxiv.org/abs/2604.12596
説明文件： https://docs.nvidia.com/sdgm/rfm/overview

邁向結構化數據基礎模型

基礎模型已經改寫了語言和視覺領域的做法。不久之前，生產環境中的 NLP 仍需為每項任務設置專用模型，各自配備詞元化、詞形還原及 n-gram 等處理流程。大型語言模型令這套架構在很大程度上過時，原因有三：其準確度勝過最佳的任務專用模型、更容易投入生產環境，而且靈活得足以開啟 Agent 應用的新時代。

同樣的轉變現正發生於結構化數據領域。關聯式資料庫支援全球最關鍵的商業決策，但在這類資料庫上進行預測建模，仍需花上數星期進行特徵工程、針對特定任務訓練模型，以及調校流程。結構化數據基礎模型基於同樣三個原因改變了這種情況：

現階段準確度更高：這些模型可作為即插即用的替代方案，現已勝過許多生產環境中的流程，尤其是 XGBoost。在 RelBench V1 分類任務中，Kumo Relational 的表現平均比採用專家設計特徵的梯度提升樹高近 4 個 AUROC 點。在 SAP SALT 上，開箱即用時，其表現比採用工程化特徵的 XGBoost 高 7 個 MRR 點；微調後則高 13 個 MRR 點。這些結果充分顯示，以 Kumo Relational 取代生產環境中的 XGBoost 流程具有充分理據。

簡單靈活：一個預先訓練的模型便可取代個別任務各自的流程。新的預測只需提出查詢，無需啟動專案，讓 ML 團隊終於可以承接傳統 ML 在組織各個層面都難以構建的應用場景。

能夠作出預測的 Agent：大型語言模型讓 Agent 能夠閲讀、撰寫及推理。結構化數據基礎模型則讓 Agent 能夠預測接下來會發生甚麼，例如哪些客戶會流失，並據此採取行動。Kumo Relational 已可供 Agent 呼叫，而其預測查詢語言（PQL）則提供簡單介面，讓 Agent 提出預測問題。

今天，我們推出 Kumo Relational（論文、説明文件），這是一款預先訓練的基礎模型，將這種全新模式帶到關聯式數據領域。連接資料庫，説明要預測的內容，即可透過單次前向傳播取得預測結果。無需訓練。

Kumo Relational 的運作方式

大多數用於結構化數據的基礎模型都以單一扁平資料表運作。真實世界的數據則存放在關聯式資料庫中：用戶與訂單相關聯，訂單再與商品相關聯，而這些關係都會隨時間變化。透過手動彙總（例如「過去 30 天的平均訂單金額」）將這些關係攤平成一行，會丟失細緻的結構訊號，亦需要耗費大量人力。

Kumo Relational 是一個關聯式基礎模型，可直接在資料庫上運作，並保留資料表、外鍵和時間戳記。它只需在反映真實世界數據集特徵的合成關聯式數據上預先訓練一次，之後便可透過上下文學習適應每項新任務，並在推理時讀取最多 10,000 個上下文範例。每個範例都會將某個時間點上、以實體為中心的局部子圖，與其真實目標值配對（例如「這名用戶已流失」或「這件商品售出 142 件」）。

![NVIDIA Kumo Relational 系統概覽：(a) 資料庫整合；(b) 將自然語言轉換為預測查詢的提示介面；(c) 自動生成上下文並輸入 NVIDIA Kumo Relational 模型，讓系統可在多個租戶之間水平擴展。]

圖 1. Kumo Relational 系統概覽。連接資料庫並指定預測查詢後，Kumo Relational 會處理其餘工作，從生成上下文到模型推理。

要作出預測，Kumo Relational 必須完成三件事：(1) 理解每張資料表中的值；(2) 關聯不同資料表中的記錄；(3) 將已知目標的上下文範例與待預測的實體關聯起來。運作方式如下：

![Kumo Relational 架構：(a) 包含任務、用戶、訂單及商品資料表的上下文輸入；(b) 在資料表內進行欄位注意力和行注意力，並注入上下文目標；(c) 在資料表之間進行圖注意力和跨樣本注意力。]

圖 2. Kumo Relational 架構：(a) 上下文輸入；(b) 在資料表內推理；(c) 跨資料表推理。

自動生成上下文：任務以預測查詢語言（PQL）撰寫。這是一種宣告式介面，讓你指定要預測甚麼，而非如何預測。對於時間相關任務，Kumo Relational 會重播資料庫的歷史狀態：它會抽取截至錨點時間戳記、以實體為中心的子圖，並根據該時間戳記之後的事件計算每個目標，同時只向模型提供該時間戳記之前的數據。這可防止數據洩漏。

在資料表內推理：輕量網絡會獨立處理每張資料表，交替進行欄位注意力（關聯同一欄位中的值）和行注意力（關聯同一行內的特徵）。模型會學習哪些欄位和行與目前的預測相關，並在傳播資訊前過濾雜訊。

跨資料表推理：較大型的網絡會透過圖注意力，根據主鍵／外鍵關係將行嵌入傳遞至關聯結構中，並交替在上下文範例之間進行跨樣本注意力。關聯式推理就在這個階段進行，例如將用戶的個人資料與其交易記錄連結起來。由於這個階段處理的是行嵌入，而非每張資料表中的每個儲存格，因此設計可避免二次方成本，並支援更大型的上下文和更深層的子圖。

Kumo Relational 的構建方式

Kumo Relational 使用完全由合成關聯式資料預訓練，這些資料經模擬而成，旨在反映真實世界的關聯式資料庫及多樣的預測查詢。預訓練分階段進行，從單一資料表開始，逐步擴展至日益複雜的關聯式結構。

預訓練所需的多樣關聯式資料庫鮮有公開，因此合成資料填補了這個缺口。Kumo Relational 的生成器建基於 PluRel（Kothapalli et al., ICML 2026）的方法；PluRel 將單一資料表資料生成器擴展至完整的關聯式資料庫。Kumo 團隊成員協助開發 PluRel，並共同撰寫原始論文。PluRel 分三個階段生成每個資料庫：先建立結構描述，再建立行與行之間的外鍵連結，令行的羣集方式與真實資料相同，最後利用結構因果模型生成欄值，並加入時間趨勢及跨資料表依賴關係。生成過程所需資源不多，因此預訓練資料幾乎無限；PluRel 論文亦顯示，隨着加入合成資料庫，預訓練損失會遵循冪律下降，而所得效益亦能延伸至真實資料庫。

透過預訓練，模型學會在不同資料表之間篩選、關聯及彙總資訊，而非依賴固定的彙總方式。若追求最高準確度，Kumo Relational 亦可針對特定數據集和任務進行微調。

效能

在這篇論文中，我們使用 RelBench V1 和 V2、SAP SALT 及 4DBInfer 的 15 個關聯式資料庫，對 Kumo Relational 進行了 41 項基準測試，涵蓋電子商務、醫療、企業、社交及學術領域。這些數據集均未曾用於預訓練。Kumo Relational 在分類和迴歸任務上的表現均勝過最強的監督式模型，包括關聯式深度學習模型及經專家設計的表格集成模型。在比較 RelBench V1 上關聯式模型和系統的 RelArena-α 排行榜中，它無需額外處理便已位於準確度與效率的帕累托前沿：

![RelArena-α 排行榜散點圖：縱軸為各項任務的相對準確度（以 Elo 表示），橫軸為每 1,000 個樣本的推理時間中位數（對數刻度）。Kumo Relational 位於帕累托前沿，推理時間約為 17 秒，Elo 為 1,842。得分最高的項目 rt-plurel 的 Elo 為 1,878，推理時間約為 7,300 秒，慢約 430 倍。其他所有基礎模型、特徵工程系統和監督式模型的得分均較低，運行速度亦比 Kumo Relational 慢。]

圖 3. RelArena-α 排行榜：各項任務的 Elo 與每 1,000 個樣本的推理時間中位數（對數刻度）。Kumo Relational 在準確度相若的情況下，速度比得分最高的項目快約 430 倍。

論文亦指出，在 SAP SALT 企業基準測試中，Kumo Relational 的平均倒數排名（MRR）比大型 AutoGluon 集成模型高 8%，比近期的表格基礎模型高約 25%；微調後，它領先 AutoGluon 的幅度進一步擴大至 16%。在嚴苛條件下，它亦表現穩定：即使只以佔訓練資料 0.2% 的資料作為上下文，表現仍然良好；移除多達 75% 的外鍵連結時，表現依然穩定；加入大量雜訊欄位時，效能亦幾乎沒有下降。

限制

Kumo Relational 最適合處理具有明確關係及時間變化特性的數據，例如用戶隨時間變化的行為。對於訓練集非常龐大的任務，任務專用的監督式模型仍可能略勝一籌；在我們的基準測試中，上下文預測最多使用 10,000 個上下文範例。基礎模型的微調正是為這種情況而設。預測訊號亦必須能在有限跳數內觸及，因此請先針對少數相關資料表進行聚焦查詢，再按需要擴展圖譜。

示範

Kumo Relational 可直接在資料庫上進行上下文學習：在記憶體中運作、透過資料庫和數據倉庫連接器運作，或使用自訂圖形引擎；該引擎可透過記憶體映射 I/O，以最高 5 GB/s 的速度處理 500B+ 行。它現已納入 NVIDIA 新推出的 GPU 原生結構化資料模型程式庫 structured-data-models；我們的姊妹模型 Kumo Tabular 亦由同一個開源程式庫支援。程式庫會在首次使用時從 Hugging Face Hub 下載權重，因此你可以在配備 GPU 的筆記本中載入模型，並直接使用模型進行預測。下方程式碼會將上下文範例、預測實體及其相關資料表傳入模型：

# pip install structured-data-models
import sdm

model = sdm.models.KumoRelational(device="cuda")
pred = model(
    # In-context training table (fkeys/timestamps/targets):
    x_context=...,
    y_context=...,
    # Prediction examples (fkeys/timestamps):
    x_query=...,
    # Multi-table information for context/prediction entities:
    related_context_tables=...,
    related_query_tables=...,
)

請參閲程式庫的關聯式範例，瞭解完整的 RelBench 和 SAP SALT 流程，包括如何抽取各實體的相關資料表。

若要改為以獨立服務方式執行模型，請將它部署為 NVIDIA NIM，並在筆記本中使用開源 structured-data-models-client 指向該服務。你可以使用 PQL 撰寫預測；用戶端會收集上下文範例和相關資料表，然後傳送請求：

# pip install 'structured-data-models-client[relational]'
import sdm_client

client = sdm_client.SDMClient(url="http://localhost:8001")  # NIM URL
query = sdm_client.PredictiveQuery(
    # Prediction task in Predictive Query Language (PQL):
    "PREDICT COUNT(orders.*, 0, 30, days) FOR EACH users.user_id",
    # Multi-table data as pandas DataFrames (keys/links inferred):
    {"users": ..., "orders": ...},
)
pred = client.predict(
    # Context examples and related tables for the entities to predict:
    query.materialize(indices=[1, 2, 3]),
    model=sdm_client.KumoRelational(),
)

請參閲用戶端的範例筆記本，瞭解如何在本機 NIM 和 Databricks 上執行完整流程。

開始使用 NVIDIA Kumo Relational 開發

NVIDIA Kumo Relational 現已推出。閲讀研究論文、查看快速入門筆記本，或開始使用自己的數據進行預測。程式碼以 Apache 2.0 授權條款發布，模型權重則依據 OpenMDW License Agreement, version 1.1 發布。NVIDIA 認為，可信賴 AI 是共同責任；我們已制定政策和實務做法，以支援各類 AI 應用的開發。開發者若按照我們的服務條款下載或使用模型，應與支援其模型的團隊合作，確保此模型符合相關行業和使用案例的要求，並能應對未預見的產品誤用情況。如有模型品質、風險、安全漏洞或 NVIDIA AI 相關疑慮，請在此回報。

論文： https://arxiv.org/abs/2604.12596
文件： https://docs.nvidia.com/sdgm/rfm/overview
程式碼： https://github.com/NVIDIA/structured-data-models
PyPI： https://pypi.org/project/structured-data-models/
用戶端程式碼： https://github.com/NVIDIA/structured-data-models-client
用戶端 PyPI： https://pypi.org/project/structured-data-models-client/
權重： https://huggingface.co/nvidia/Kumo-Relational
快速入門筆記本： https://github.com/NVIDIA/structured-data-models-client/blob/main/examples/local/relational.ipynb
相關研究： Predictive Query Language (PQL), PluRel, Kumo Tabular

致謝

我們感謝整個 Kumo 團隊提供寶貴支持。特別感謝 Josh Przybylko、Adi Wadaskar、Hema Raghavan、Manush Murali、Raja Rao DV、Keti Jovanovska、Zack Drach、Vanja Josifovski、Myungwhan Kim、Blaž Stojanovič、Siyang Xie、Alan Krumholz、Effy Fang、Abdullah Al-chihabi、Disha Dubey、Devan Johnson、Joseph Oliveira、Angela Liu、Miha Pelko、Vedaant Jain、Sally Liu、Aleksandar S. Sokolovski、Alex Porter 和 Ramona Bendias。