NVIDIA Kumo Tabular 為表格預測樹立準確率與效率的新前沿
NVIDIA Kumo Tabular Sets a New Accuracy-Efficiency Frontier for Tabular Prediction
NVIDIA 發佈開放式表格基礎模型 Kumo Tabular,用於表格分類與回歸,可根據帶標籤的上下文列,在單次前向傳播中預測新列標籤,無需訓練、調參或特徵工程。
文章列出四項基準的結果,並以梯度提升樹、AutoGluon 等方法作對照,為表格預測模型的效能評估提供具體比較參照。
重點摘要(簡介)
NVIDIA Kumo Tabular 是 NVIDIA Kumo Structured 模型系列的一部分,是一款現已在 Hugging Face 上推出的表格資料開源基礎模型。給它一張含有已標註資料列的表格,它便可在單次前向傳遞中預測新資料列的標籤,無須訓練、微調或特徵工程,分類和迴歸任務皆適用。模型只以人工資料預訓練,提供三種規模(2,800 萬至 2.15 億個參數),透過我們的開源程式庫執行,並以OpenMDW-1.1 授權條款發布,可供商業用途。它在四個基準測試中排名第一:TabArena、BeyondArena、TALENT 和 ScoringBench。
- 模型程式碼: https://github.com/NVIDIA/structured-data-models
- 模型權重: https://huggingface.co/nvidia/Kumo-Tabular
轉向表格基礎模型
表格資料是企業機器學習的基石。客戶紀錄、交易、感測器日誌、索償和訂單都以表格形式保存;根據這些資料預測客戶流失、違約、需求或價格,是業界最常見的機器學習任務之一。過去二十年,這類工作一直由梯度提升樹處理,而且效果不俗。但這些模型的整個開發流程幾乎沒有改變。每遇到新問題,都要收集標籤、設計特徵、搜尋超參數、驗證,再部署一個不瞭解表格一般結構、每項任務都要從頭學起的模型。
大型語言模型展示了處理新任務的另一種方式。只要在提示中提供幾個例子,預訓練模型便能解決任務,毋須更新任何權重。這稱為情境內學習,同樣適用於表格和文字:在數百萬張表格上預訓練的模型,可把帶標籤表格讀作脈絡,直接預測新資料列的標籤。
今天,我們推出開放基礎模型 NVIDIA Kumo Tabular(GitHub、Hugging Face),用於表格分類和迴歸。給它一張含有已標註資料列的表格,以及你想取得預測的資料列,Kumo Tabular 便會在單次前向傳遞中輸出類別機率或數值預測。
Kumo Tabular 的運作方式
Kumo Tabular 是一款以表格結構為核心的 Transformer,採用欄、列和情境內注意力,方法源自 TabICL 和 TabPFN。要預測標籤,它必須完成三件事:(1) 理解每個值在其欄位中的意義;(2) 理解一列中的各欄如何互相影響;(3) 將帶有既有標籤的脈絡資料列,與標籤未知的查詢資料列連繫起來。Kumo Tabular 透過以下方式完成:
儲存格嵌入:一組儲存格會轉化為一個 Token。數值和類別值會經過傅立葉特徵處理,即學得頻率的正弦和餘弦函數,並按類型分別使用權重。缺失值毋須填補,會以特別方式處理。最後,脈絡中的每個 Token 都會加上標籤嵌入。
資料列嵌入:接着,我們透過交替進行兩種注意力多次,將每一列轉化為嵌入。欄注意力會沿單一欄讀取資料,並透過誘導式自注意力學習某個值在其欄位分佈中的意義,例如判斷 42 是典型值還是極端值;其成本會隨資料列數量線性增加。列注意力則會查看單一資料列中的各 Token,學習特徵之間的互動,並以旋轉位置編碼區分各欄。每列會加入四個可學習的 [CLS] Token,作為該列的最終讀出。完成列壓縮後,最後階段的成本便不再取決於欄數。
情境內學習:最後一個 Transformer 會處理資料列嵌入。脈絡資料列彼此進行注意力運算,而查詢資料列只會對脈絡資料列進行注意力運算。因此,每項預測只取決於脈絡和該列本身,而不受同時評分的其他資料列影響。由於脈絡不會查看查詢資料列,其鍵和值只需計算一次,之後可重用。查詢資料列會使用 Test-GQA,縮小每次預測需要讀取的快取。分類時,一個輸出頭會把每個查詢資料列轉換為類別機率;迴歸時則輸出 999 個分位數,再據此得出點預測和不確定性估算。
按長度調整的注意力温度:隨着鍵數量增加,Softmax 注意力會變得分散。對數百列資料仍然集中的注意力,遇上數萬列時可能會被稀釋;當推論時的表格遠大於一般訓練表格,正會出現這種情況。因此,Kumo Tabular 會按鍵數量的對數調整每個查詢,並為每個注意力頭分別學習係數。這令注意力在表格變長或變寬時仍能保持集中。
Kumo Tabular 的建構方式
Kumo Tabular 完全以人工生成的表格作預訓練。每張訓練表格都會從結構因果模型(SCM)抽樣生成,流程如下圖所示,共有六個步驟:
我們首先為整張表格抽取設定,包括大小、任務、生成機制和缺失值情況。接着建立隨機因果圖,以隨機抽取的函數逐節點由根至葉計算隱藏變數(例如線性映射、小型神經網絡、樹或高斯過程)。部分節點會成為數值或類別欄,一個節點作為目標,其餘則保持隱藏,類似真實資料中未有測量的成因。後處理會令一組欄位互相關聯、截去離羣值並加入缺失值;再以快速樹系集成檢查,丟棄沒有可學習訊號的表格。由於生成器是程序式抽樣器,而非經訓練的模型,因此能持續產生無盡表格,每張都有全新的圖和生成機制。
真實世界的表格往往雜亂,因此我們在生成器中加入更多不完善之處。有些值會按不同模式缺失;有些特徵會降低精細度,令重複資料列可能有不同標籤;部分類別欄會有大量取值,而迴歸目標亦可能呈重尾分佈。在數百萬張此類表格上見過不同情況的模型,無須任何清理便能學會應對這些不完善之處。
對每張人工生成的表格,模型會將大部分帶標籤的資料列作為脈絡,學習預測其餘資料列的標籤;分類使用交叉熵損失,迴歸則使用分位數損失。分類和迴歸會分別訓練成獨立模型。與 TabICLv2 類似,訓練分三個階段。第一個也是最長的階段使用 1,024 列、最多 100 欄的表格,讓模型學習表格的樣貌。第二階段將脈絡大小改為 400 至 10,240 列;第三階段再擴展至 60,000 列,欄數仍最多為 100。Kumo Tabular-Small/Medium/Large 合共見過約 3,500 萬/7,100 萬/1.37 億張人工表格。
我們很快會發布訓練方法和人工資料生成器。
效能
我們以預設設定,使用三種 Kumo Tabular 規模,在完整的 TabArena 排行榜上測試,涵蓋經調校的梯度提升樹、AutoGluon 及最新表格基礎模型。Kumo Tabular 以 ELO 1950 排名總榜第一,在統一的單張 RTX 6000 Pro 評估環境下,運行速度比 LimiX-2 快 17 倍。三種模型規模均令準確度-效率 Pareto 前沿再創新高:
我們亦在 BeyondArena、TALENT 和 ScoringBench 上評估 Kumo Tabular。在 BeyondArena 上,Kumo Tabular 的 ELO 達 1418,改進能力分數為 7.78%,位列排行榜第一。在 TALENT 上,它在分類準確率、分類對數損失和迴歸 RMSE 的整體排名均居首,平均排名分別為 6.67、3.98 和 4.22。在用於預測分佈的基準測試 ScoringBench 上,Kumo Tabular-Large 和 Medium 的平均排名分別為第一和第二。
限制
Kumo Tabular 只適用於數值和類別欄;文字、圖像或時間戳記則可透過內置前處理方法轉換成特徵。單次前向傳遞最多處理 10 個類別,程式庫會透過錯誤更正輸出碼擴展至任意類別數目。若表格遠超訓練範圍,或查詢資料列與脈絡資料列來自不同分佈,準確度可能下降。因此,與任何預測模型一樣,部署前請先用自己的留出資料驗證準確度和校準情況。
示範
Kumo Tabular 透過 NVIDIA 最新推出、原生支援 GPU 的 structured-data-models 程式庫執行。程式庫首次使用時會從 Hub 下載權重,並提供評估中使用的前處理、集成和多類別處理功能。以下程式碼便足以將 pandas.DataFrame 轉換為預測結果:
import sdm # structured-data-models
# Tensorize tabular data:
table = sdm.TableTensor.from_pandas(pd.load_csv(...), device="cuda")
na_mask = table["target"].isnan()
model = sdm.models.KumoTabular(device="cuda")
pred = model(
# In-context examples (features/targets):
x_context=table[~na_mask].drop_columns("target"),
y_context=table[~na_mask, "target"],
# Prediction examples (features):
x_query=table[na_mask].drop_column("target"),
)
開始使用 Kumo Tabular 開發
Kumo Tabular 依據 OpenMDW License Agreement 1.1 版發布。NVIDIA 相信可信賴 AI 是各方共同的責任,並已制定政策和實務,支援廣泛的 AI 應用開發。開發者須按照服務條款下載或使用模型,並與所屬模型團隊合作,確保模型符合相關行業和使用情境的要求,以及能處理未預見的產品濫用情況。如要回報模型品質、風險、安全漏洞或 NVIDIA AI 相關疑慮,請到此提出。
- 模型程式碼: https://github.com/NVIDIA/structured-data-models
- 模型權重: https://huggingface.co/nvidia/Kumo-Tabular
鳴謝
感謝 David Holzmüller 為 Kumo Tabular 提供多項重要構想和消融實驗。亦感謝 Vignesh Kothapalli 在實習期間協助開發 Kumo Tabular。
來源:Hugging Face Blog · huggingface.co


