如何用 Transformers.js 製作即時機器學習網頁遊戲 Doodle Dash
Making ML-powered web games with Transformers.js
Hugging Face Blog 作者以 Transformers.js 製作 Doodle Dash,並示範如何構建可在瀏覽器本地運行的即時機器學習遊戲。遊戲模型以 Google Quick, Draw!
文章串連 Quick, Draw! 數據微調、ONNX 轉換與 Transformers.js 瀏覽器推理,呈現把圖像分類模型接入即時網頁遊戲的實作路徑。
在本文中,我會示範如何製作 Doodle Dash,這是一款由機器學習驅動、完全在瀏覽器中執行的即時網頁遊戲(多虧了 Transformers.js)。本教學旨在展示製作自己的機器學習網頁遊戲有多簡單……正好趕上即將舉行的 Open Source AI Game Jam(2023 年 7 月 7 至 9 日)。還未參加的話,快來加入吧!
影片:Doodle Dash 示範影片
快速連結
- 示範: Doodle Dash
- 原始碼: doodle-dash
- 參加 Game Jam: Open Source AI Game Jam
概覽
開始之前,先談談我們要製作甚麼。遊戲靈感來自 Google 的 Quick, Draw!,玩家會收到一個詞語,神經網絡有 20 秒時間猜出你在畫甚麼(重複 6 次)。事實上,我們會用他們的訓練數據來訓練自己的草圖辨識模型!開源真好,對吧?😍
在我們的版本中,你會有一分鐘時間逐題作畫,盡可能畫出更多項目。如果模型預測的標籤正確,畫布便會清空,並顯示新詞語。繼續遊玩,直到計時結束!由於遊戲在瀏覽器本機執行,完全不用擔心伺服器延遲。模型能在你作畫時即時預測,每秒超過 60 次……🤯 太厲害了!
本教學分為 3 個部分:
1. 訓練神經網絡
訓練數據
我們會使用子集訓練模型,該子集取自 Google 的 Quick, Draw! 數據集,包含超過 5 million 幅畫作,分為 345 個類別。以下是一些數據集樣本:
模型架構
我們會微調 apple/mobilevit-small。這是一款輕量且適合流動裝置的 Vision Transformer,已使用 ImageNet-1k 預訓練。它只有 5.6M 個參數(檔案大小約 20 MB),非常適合在瀏覽器中執行!詳情請參閲 MobileViT 論文和下方的模型架構。
微調
為了讓本文(相對)精簡,我們準備了一份 Colab 筆記本,逐步展示如何在自己的數據集上微調 apple/mobilevit-small。概括而言,流程包括:
使用
MobileViTImageProcessor轉換數據集。載入預訓練的 MobileVIT 模型時,使用
MobileViTForImageClassification.from_pretrained。使用
Trainer和TrainingArguments輔助類別訓練模型。使用 🤗 Evaluate 評估模型。
注意:你可以在 Hugging Face Hub 此處找到我們微調後的模型。
2. 使用 Transformers.js 在瀏覽器中執行
甚麼是 Transformers.js?
Transformers.js 是一個 JavaScript 函式庫,讓你可以直接在瀏覽器中執行 🤗 Transformers(毋須伺服器)!它在功能上與 Python 函式庫相同,因此你可以透過非常相似的 API 執行相同的預訓練模型。
在幕後,Transformers.js 使用 ONNX Runtime,因此我們需要把微調後的 PyTorch 模型轉換成 ONNX。
將模型轉換成 ONNX
幸好,🤗 Optimum 函式庫讓你能非常簡單地把微調後的模型轉換成 ONNX!最簡單(亦是建議)的方式如下:
複製 Transformers.js 儲存庫並安裝所需依賴項:
git clone https://github.com/xenova/transformers.js.git cd transformers.js pip install -r scripts/requirements.txt執行轉換指令碼(底層使用
Optimum):python -m scripts.convert --model_id <model_id>其中
<model_id>是你想轉換的模型名稱(例如Xenova/quickdraw-mobilevit-small)。
設定項目
先使用 Vite 建立簡單的 React 應用程式:
npm create vite@latest doodle-dash -- --template react
接著進入項目目錄並安裝所需依賴項:
cd doodle-dash
npm install
npm install @xenova/transformers
然後執行以下指令啟動開發伺服器:
npm run dev
在瀏覽器中執行模型
執行機器學習模型會大量消耗運算資源,因此最好在獨立執行緒中進行推論。這樣就不會阻塞用來渲染使用者介面和回應畫圖手勢的主執行緒 😉。Web Workers API 讓這件事變得非常簡單!
建立新檔案(例如 worker.js),放在 src 目錄中,然後加入以下程式碼:
import { pipeline, RawImage } from "@xenova/transformers";
const classifier = await pipeline("image-classification", 'Xenova/quickdraw-mobilevit-small', { quantized: false });
const image = await RawImage.read('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/blog/ml-web-games/skateboard.png');
const output = await classifier(image.grayscale());
console.log(output);
現在,只要在 App.jsx 檔案的 App 元件中加入以下程式碼,便可使用這個 worker:
import { useState, useEffect, useRef } from 'react'
// ... rest of the imports
function App() {
// Create a reference to the worker object.
const worker = useRef(null);
// We use the `useEffect` hook to set up the worker as soon as the `App` component is mounted.
useEffect(() => {
if (!worker.current) {
// Create the worker if it does not yet exist.
worker.current = new Worker(new URL('./worker.js', import.meta.url), {
type: 'module'
});
}
// Create a callback function for messages from the worker thread.
const onMessageReceived = (e) => { /* See code */ };
// Attach the callback function as an event listener.
worker.current.addEventListener('message', onMessageReceived);
// Define a cleanup function for when the component is unmounted.
return () => worker.current.removeEventListener('message', onMessageReceived);
});
// ... rest of the component
}
執行開發伺服器(使用 npm run dev)、瀏覽本機網站(通常是 http://localhost:5173/),再開啟瀏覽器主控台,即可測試一切是否正常。你應該會看到模型輸出記錄在主控台中。
[{ label: "skateboard", score: 0.9980043172836304 }]
太棒了! 🥳 雖然以上程式碼只是最終成品的一小部分,但已展示機器學習部分其實非常簡單!其餘工作只是美化外觀和加入遊戲邏輯。
3. 遊戲設計
本節會簡單介紹遊戲設計流程。再次提醒,項目的完整原始碼可在 GitHub 取得,因此我不會詳談程式碼本身。
善用即時效能
在瀏覽器中進行推論的主要優勢之一,是可以即時預測(每秒超過 60 次)。在原版 Quick, Draw! 遊戲中,模型只會每隔幾秒作出一次新預測。我們也可以在遊戲中照做,但那就無法善用即時效能了!因此,我決定重新設計主要遊戲循環:
- 原版有 6 輪、每輪 20 秒,每輪會出現新詞語;我們的版本則讓玩家在 60 秒內,逐題盡可能正確畫出更多塗鴉。
- 遇到不會畫的詞語時,你可以跳過(但剩餘時間會減少 3 秒)。
- 原版模型每隔幾秒便猜一次,因此可以逐步從清單中剔除標籤,直到猜中為止。在我們的版本中,使用者持續作畫時,模型會隨時間增加,降低排名最前的
n個錯誤標籤分數,其中n亦會隨之增加。
改善使用體驗
原始數據集有 345 個不同類別,而我們的模型相對較小(約 20MB),有時無法正確猜出某些類別。為瞭解決這個問題,我們移除了一些符合以下情況的詞語:
- 與其他標籤太相似(例如 barn 和 house)
- 難以理解(例如 animal migration)
- 難以畫出足夠細節(例如 brain)
- 含義不明確(例如 bat)
篩選後,仍有超過 300 個不同類別!
額外花絮:遊戲命名
秉持開源開發精神,我決定向 Hugging Chat徵求遊戲名稱構想……結果當然沒有令我失望!
我喜歡「Doodle Dash」(第 4 個建議)的頭韻,因此決定採用這個名稱。謝謝 Hugging Chat!🤗
希望你喜歡一起製作這款遊戲!如有問題或建議,可在 Twitter、GitHub 或 🤗 Hub 找到我。此外,若你想改進遊戲(新模式?強化道具?動畫?音效?),歡迎複製分支並提交 pull request!我很期待看看你的創作!
附註:記得參加 Open Source AI Game Jam!希望本文能啟發你使用 Transformers.js 製作自己的網頁遊戲!😉 Game Jam 見!🚀
來源:Hugging Face Blog · huggingface.co


