Hugging Face 推出 @huggingface/kernels,提供 200+ 個 WebGPU kernels 用於本地 AI
Introducing @huggingface/kernels: 200+ WebGPU Kernels for Local AI
Hugging Face 推出 @huggingface/kernels JavaScript loader,並在 Hub 發布首批 207 個 WebGPU kernels。
文章將 207 個 WebGPU kernels 的版本化操作契約、正確性測試與基準案例一併呈現,並提供 Apple M4 上與 ORT WebGPU 的比較數據。
Hugging Face WebAI 團隊其中一個最大目標,是令瀏覽器推論盡可能快速易用。要達成此目標,需要多層面協作:模型須採用適合瀏覽器的表示方式,執行環境須建立高效執行計劃,而底層個別 GPU 操作則須充分運用各種裝置和瀏覽器實作。
今天,我們推出這項工作的第一層:@huggingface/kernels。這是一個精簡程式庫,可從 Hugging Face Hub 載入並執行最佳化 WebGPU kernels;我們亦同步推出首批207 個 kernels,可在 huggingface.co/webgpu-kernels 取得。
這個集合涵蓋多種機器學習架構和工作負載所用的操作。更重要的是,每個 kernel 都以完整且具版本管理的套件發布:介面、shader 範本、正確性案例、基準測試案例和使用指引都集中在 Hub 上。
我們亦推出 Fleet,這是一套在瀏覽器中運行的 GPU 基準測試和測試工具,可在你的硬件上執行 kernels 並評分。除了提供你自己裝置的結果,Fleet 亦讓社羣貢獻效能和正確性證據,涵蓋傳統測試實驗室無法覆蓋的裝置。經你同意後,每次測試都會加入私人證據,協助我們找出失敗情況(例如結果錯誤、速度異常緩慢等)、改良 kernel 版本,並根據真實硬件作出更佳最佳化決策。
簡介
- 207 個 WebGPU kernels,以獨立儲存庫形式發布於
webgpu-kernels組織,採用 Apache-2.0 授權。 - JavaScript 載入器
@huggingface/kernels,可直接從 Hub 下載、準備並執行 kernels。 - 每個 kernel 均有明確規格和可重現證據,包括資訊清單、正確性測試、基準測試案例和 WGSL shader 範本。
- Fleet 是一款瀏覽器基準測試工具,透過眾包方式收集真實 GPU 的正確性和效能證據,協助我們改良 kernels 及其不同版本。
為何從 kernels 開始?
在瀏覽器中運行的模型,最終會轉化為一連串 GPU 操作:矩陣乘法、正規化、卷積、注意力原語、量化操作、數據佈局轉換,以及更多操作。WebGPU 透過可移植 API,讓現代瀏覽器都能使用這些操作;WGSL 則為執行這些操作的 shader 提供通用語言。
不過,可移植並不代表效能必然良好。兩個 shader 即使實作相同操作並產生相同輸出,在不同加速器上的表現仍可能截然不同。工作羣組大小、記憶體存取模式、向量化、資料類型和融合策略都會影響效能。輸入形狀、裝置、瀏覽器和可用 WebGPU 功能亦會改變最佳選擇。
因此,kernels 是實現快速瀏覽器推論的基礎層。高階執行環境的效率取決於它所調用的操作。若讓每項操作都可獨立探索、測試、評測和管理版本,我們便能獨立改進基礎層,同時為上層維持穩定規格。
不只是一個 shader:kernel 儲存庫
集合中的每個 kernel 都有自己的儲存庫和資訊卡,記錄操作語義、輸入、輸出、屬性、支援的資料類型、原始檔案,以及可直接執行的 @huggingface/kernels 範例。
例如,ai.onnx.Add 實作支援多方向廣播的逐元素加法。這是神經網絡中最簡單的操作之一,從殘差連接到偏置相加都會用到。其資訊卡記錄兩個輸入、廣播後的輸出形狀、支援的資料類型,以及針對不同形狀和裝置提供的版本。
ai.onnx.Add 儲存庫把資訊清單、正確性和基準測試案例,以及 WGSL shader 範本一併打包。資訊卡背後的儲存庫包含理解和評估實作所需的各項資料:
manifest.json是操作規格的唯一準據,定義輸入、輸出、屬性、類型限制和形狀推導規則。metadata.json記錄 kernel 識別碼、摘要和來源資訊。test.json包含正確性案例,可用來根據預期行為檢查實作。bench.json包含基準測試和調校案例,代表評估 kernel 時使用的工作負載。*.wgsl.jinja檔案包含參數化 WGSL 實作,會按特定請求和裝置生成 shader。
這種結構讓 shader 成為可重用的軟件成品。無須閲讀 WGSL 也可檢視介面;實作亦附帶正確性和效能案例;載入時可明確指定已發布版本,而非依賴沒有版本管理的檔案網址。我們的 kernels 也可作為參考實作,供開發者建立自訂 WebGPU kernels,或把這些操作整合至自己的執行環境。
從 Hub 載入 kernel
從 npm 安裝套件:
npm install @huggingface/kernels@preview
執行這些 kernels 需要支援 WebGPU 的瀏覽器。WebGPU 是否可用,取決於瀏覽器、作業系統、GPU 和驅動程式。你可以在 JavaScript 中以
"gpu" in navigator檢查。
@huggingface/kernels 在 kernel 儲存庫和應用程式之間提供橋接。呼叫 getKernel,傳入 Hub 儲存庫 ID 和規格版本,再以具類型的輸入數據及張量形狀呼叫傳回的函數。以下是簡單的偏置相加範例:
import { getKernel } from "@huggingface/kernels";
const add = await getKernel("webgpu-kernels/ai.onnx.Add", { version: 1 });
const { c } = await add({
a: {
data: new Float32Array([1, 2, 3, 4, 5, 6]),
shape: [2, 3],
},
b: {
data: new Float32Array([10, 20, 30]),
shape: [3],
},
});
第二個輸入會廣播至第一個輸入的維度,產生形狀為 [2, 3] 的輸出。載入器會根據資訊清單規格和輸入推導輸出形狀與邏輯資料類型,然後自動配置 c。
對六個浮點數作加法,是刻意採用的最簡示範。在這個規模下,GPU 往返的成本遠高於運算本身。重點在於呼叫方式:對矩陣乘法(ai.onnx.MatMul)等真正受惠於最佳化 kernels 的大型操作,呼叫方式完全一樣,只需更改儲存庫 ID 和輸入。
即使是這種基本操作,也能説明 kernels 為何需要多個版本。形狀相同的加法可採用直接向量化路徑;輸入需要廣播時,則須使用不同索引邏輯。已發布的 Add kernel 包含形狀相同、向量化廣播、純量處理和一般廣播等版本。執行環境可按目前呼叫和裝置選擇合適實作,而無須更改應用程式介面。
version: 1 選項會選取已發布的kernel 規格第 1 版。它與 ONNX opset、運算子的 since_version 或模型修訂版本各自獨立。把這些概念分開,應用程式便能依賴穩定的 JavaScript 介面規格,同時讓 kernel 實作在背後持續演進。
kernels 有多快?
那麼,最佳化 kernels 實際上能帶來多大差異?我們在 Apple M4 GPU 上,使用 ONNX Runtime Web 1.30.0-dev.20260826-b1f76d586a,將這個集合與 ORT WebGPU 直接比較。全部 207 個操作共測試 1,756 個案例,並只保留雙方輸出相符且計時可靠的 809 個案例。
在這些比較中,我們的 kernels 以幾何平均計算快 2.57 倍,以中位數計算快 1.90 倍;其中 629 次勝出、176 次落敗、4 次平手。以下仔細看看四種常見操作:
| 操作 | 比較案例 | 我們的 WebGPU Kernel | ORT WebGPU | 加速比 |
|---|---|---|---|---|
| Add | 5 | 0.064 毫秒 | 0.227 毫秒 | 3.52 倍 |
| MatMul | 29 | 0.115 毫秒 | 0.131 毫秒 | 1.14 倍 |
| Softmax | 12 | 0.114 毫秒 | 0.240 毫秒 | 2.11 倍 |
| LayerNormalization | 6 | 0.061 毫秒 | 0.135 毫秒 | 2.22 倍 |
部分個別案例的勝幅大得多。一個特別困難的雙線性 Einsum 案例(i,ij,j,大小為 4096)使用我們的 kernel 只需 0.136 毫秒,ORT WebGPU 則需 1,396 毫秒:快逾10,000 倍。對形狀為 [256, 4096] 的數據逐行執行 CumSum,則快 301 倍,耗時分別為 0.016 毫秒和 4.784 毫秒。這些是較特殊的案例,不代表所有情況都能達到這些加速幅度;不過,它們展示了當一般實作進入慢速路徑時,專用 kernel 能帶來多大幫助。
我們只計算 GPU 本身執行工作的時間,不包括載入 kernels、建立工作階段、上傳輸入、編譯 shader 和讀回輸出等準備工作。極短工作負載自然較難準確測量,而小型案例亦可能受惠於 GPU 快取,因此這些數字適合作為比較參考,而非每個應用程式都能達到的保證。
這些結果亦只涵蓋個別操作,並非完整模型。實際效能會因 GPU 和瀏覽器而異,因此 Fleet 對建立更全面的效能圖景非常重要。
我們亦正與 ONNX Runtime 團隊合作,把這些改進上游合併,讓更廣泛的 ONNX Runtime Web 生態系統受惠。
由單一裝置擴展至裝置羣
WebGPU 效能會因 GPU、瀏覽器和驅動程式而異,因此單一電腦的結果只能反映部分情況。任何人都可透過 Fleet 在瀏覽器中執行正確性和效能檢查,瞭解 kernels 在自己硬件上的表現。
經同意後,每次執行都會私下貢獻證據,協助我們找出裝置特定故障、比較不同版本並改進選擇規則。目標很簡單:利用廣泛的真實世界覆蓋範圍,令 kernels 對所有人都更快、更可靠。
為 WebAI 建立共享基礎
首批 207 個 kernels 只是起點,並非終點。把 kernels 獨立發布至 Hub,為檢視規格、比較實作、重現正確性檢查和提升效能提供共同平台,無須把每個 shader 都直接嵌入每個執行環境。
這個集合亦屬於 Hub 更廣泛的 kernel 生態系統:在Kernels 頁面上,WebGPU kernels 與 CUDA、ROCm、Metal 和其他平台的 kernels 並列,並可像 Hub 上其他成品一樣篩選、排序和探索。
各部分相輔相成:
- Kernel 儲存庫定義透明且具版本管理的操作規格。
@huggingface/kernels令 JavaScript 載入和執行這些操作變得簡單直接。- Fleet 透過眾包方式收集真實世界證據,涵蓋的裝置範圍遠超傳統基準測試實驗室。
- 每次貢獻的執行結果都可能揭示故障、指引調校、改進版本選擇,並協助驗證未來的 kernel 版本。
這是瀏覽器推論技術堆疊下一階段的底層基礎。我們期待把這些 kernels 連接至更高階的模型工具,持續擴大操作覆蓋範圍,並讓整個 WebAI 生態系統更易使用快速的本機推論。
探索WebGPU kernel 集合、試用 @huggingface/kernels,並加入 Fleet,貢獻你裝置的證據,協助我們改進 kernels,讓所有人受惠。
來源:Hugging Face Blog · huggingface.co