跳到正文
Hugging Face Blog·· 2023-07-05精選AI 評分62

如何用 Transformers.js 製作即時機器學習網頁遊戲 Doodle Dash

Making ML-powered web games with Transformers.js

AI 導讀

Hugging Face Blog 作者以 Transformers.js 製作 Doodle Dash,並示範如何構建可在瀏覽器本地運行的即時機器學習遊戲。遊戲模型以 Google Quick, Draw!

推薦理由

文章串連 Quick, Draw! 數據微調、ONNX 轉換與 Transformers.js 瀏覽器推理,呈現把圖像分類模型接入即時網頁遊戲的實作路徑。

正文 · 繁體中文

在本文中,我會示範如何製作 Doodle Dash,這是一款由機器學習驅動、完全在瀏覽器中執行的即時網頁遊戲(多虧了 Transformers.js)。本教學旨在展示製作自己的機器學習網頁遊戲有多簡單……正好趕上即將舉行的 Open Source AI Game Jam(2023 年 7 月 7 至 9 日)。還未參加的話,快來加入吧!

影片:Doodle Dash 示範影片

快速連結

概覽

開始之前,先談談我們要製作甚麼。遊戲靈感來自 Google 的 Quick, Draw!,玩家會收到一個詞語,神經網絡有 20 秒時間猜出你在畫甚麼(重複 6 次)。事實上,我們會用他們的訓練數據來訓練自己的草圖辨識模型!開源真好,對吧?😍

在我們的版本中,你會有一分鐘時間逐題作畫,盡可能畫出更多項目。如果模型預測的標籤正確,畫布便會清空,並顯示新詞語。繼續遊玩,直到計時結束!由於遊戲在瀏覽器本機執行,完全不用擔心伺服器延遲。模型能在你作畫時即時預測,每秒超過 60 次……🤯 太厲害了!

本教學分為 3 個部分:

  1. 訓練神經網絡
  2. 使用 Transformers.js 在瀏覽器中執行
  3. 遊戲設計

1. 訓練神經網絡

訓練數據

我們會使用子集訓練模型,該子集取自 Google 的 Quick, Draw! 數據集,包含超過 5 million 幅畫作,分為 345 個類別。以下是一些數據集樣本:

Quick, Draw! dataset

模型架構

我們會微調 apple/mobilevit-small。這是一款輕量且適合流動裝置的 Vision Transformer,已使用 ImageNet-1k 預訓練。它只有 5.6M 個參數(檔案大小約 20 MB),非常適合在瀏覽器中執行!詳情請參閲 MobileViT 論文和下方的模型架構。

MobileViT archtecture

微調

Open In Colab

為了讓本文(相對)精簡,我們準備了一份 Colab 筆記本,逐步展示如何在自己的數據集上微調 apple/mobilevit-small。概括而言,流程包括:

  1. 載入 「Quick, Draw!」數據集。

  2. 使用 MobileViTImageProcessor 轉換數據集。

  3. 定義資料整理函數和評估指標。

  4. 載入預訓練的 MobileVIT 模型時,使用 MobileViTForImageClassification.from_pretrained。

  5. 使用 Trainer 和 TrainingArguments 輔助類別訓練模型。

  6. 使用 🤗 Evaluate 評估模型。

注意:你可以在 Hugging Face Hub 此處找到我們微調後的模型。

2. 使用 Transformers.js 在瀏覽器中執行

甚麼是 Transformers.js?

Transformers.js 是一個 JavaScript 函式庫,讓你可以直接在瀏覽器中執行 🤗 Transformers(毋須伺服器)!它在功能上與 Python 函式庫相同,因此你可以透過非常相似的 API 執行相同的預訓練模型。

在幕後,Transformers.js 使用 ONNX Runtime,因此我們需要把微調後的 PyTorch 模型轉換成 ONNX。

將模型轉換成 ONNX

幸好,🤗 Optimum 函式庫讓你能非常簡單地把微調後的模型轉換成 ONNX!最簡單(亦是建議)的方式如下:

  1. 複製 Transformers.js 儲存庫並安裝所需依賴項:

    git clone https://github.com/xenova/transformers.js.git
    cd transformers.js
    pip install -r scripts/requirements.txt
    
  2. 執行轉換指令碼(底層使用 Optimum):

    python -m scripts.convert --model_id <model_id>
    

    其中 <model_id> 是你想轉換的模型名稱(例如 Xenova/quickdraw-mobilevit-small)。

設定項目

先使用 Vite 建立簡單的 React 應用程式:

npm create vite@latest doodle-dash -- --template react

接著進入項目目錄並安裝所需依賴項:

cd doodle-dash
npm install
npm install @xenova/transformers

然後執行以下指令啟動開發伺服器:

npm run dev

在瀏覽器中執行模型

執行機器學習模型會大量消耗運算資源,因此最好在獨立執行緒中進行推論。這樣就不會阻塞用來渲染使用者介面和回應畫圖手勢的主執行緒 😉。Web Workers API 讓這件事變得非常簡單!

建立新檔案(例如 worker.js),放在 src 目錄中,然後加入以下程式碼:

import { pipeline, RawImage } from "@xenova/transformers";

const classifier = await pipeline("image-classification", 'Xenova/quickdraw-mobilevit-small', { quantized: false });

const image = await RawImage.read('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/blog/ml-web-games/skateboard.png');

const output = await classifier(image.grayscale());
console.log(output);

現在,只要在 App.jsx 檔案的 App 元件中加入以下程式碼,便可使用這個 worker:

import { useState, useEffect, useRef } from 'react'
// ... rest of the imports

function App() {
    // Create a reference to the worker object.
    const worker = useRef(null);

    // We use the `useEffect` hook to set up the worker as soon as the `App` component is mounted.
    useEffect(() => {
        if (!worker.current) {
            // Create the worker if it does not yet exist.
            worker.current = new Worker(new URL('./worker.js', import.meta.url), {
                type: 'module'
            });
        }

        // Create a callback function for messages from the worker thread.
        const onMessageReceived = (e) => { /* See code */ };

        // Attach the callback function as an event listener.
        worker.current.addEventListener('message', onMessageReceived);

        // Define a cleanup function for when the component is unmounted.
        return () => worker.current.removeEventListener('message', onMessageReceived);
    });

    // ... rest of the component
}

執行開發伺服器(使用 npm run dev)、瀏覽本機網站(通常是 http://localhost:5173/),再開啟瀏覽器主控台,即可測試一切是否正常。你應該會看到模型輸出記錄在主控台中。

[{ label: "skateboard", score: 0.9980043172836304 }]

太棒了! 🥳 雖然以上程式碼只是最終成品的一小部分,但已展示機器學習部分其實非常簡單!其餘工作只是美化外觀和加入遊戲邏輯。

3. 遊戲設計

本節會簡單介紹遊戲設計流程。再次提醒,項目的完整原始碼可在 GitHub 取得,因此我不會詳談程式碼本身。

善用即時效能

在瀏覽器中進行推論的主要優勢之一,是可以即時預測(每秒超過 60 次)。在原版 Quick, Draw! 遊戲中,模型只會每隔幾秒作出一次新預測。我們也可以在遊戲中照做,但那就無法善用即時效能了!因此,我決定重新設計主要遊戲循環:

  • 原版有 6 輪、每輪 20 秒,每輪會出現新詞語;我們的版本則讓玩家在 60 秒內,逐題盡可能正確畫出更多塗鴉。
  • 遇到不會畫的詞語時,你可以跳過(但剩餘時間會減少 3 秒)。
  • 原版模型每隔幾秒便猜一次,因此可以逐步從清單中剔除標籤,直到猜中為止。在我們的版本中,使用者持續作畫時,模型會隨時間增加,降低排名最前的 n 個錯誤標籤分數,其中 n 亦會隨之增加。

改善使用體驗

原始數據集有 345 個不同類別,而我們的模型相對較小(約 20MB),有時無法正確猜出某些類別。為瞭解決這個問題,我們移除了一些符合以下情況的詞語:

  • 與其他標籤太相似(例如 barn 和 house)
  • 難以理解(例如 animal migration)
  • 難以畫出足夠細節(例如 brain)
  • 含義不明確(例如 bat)

篩選後,仍有超過 300 個不同類別!

額外花絮:遊戲命名

秉持開源開發精神,我決定向 Hugging Chat徵求遊戲名稱構想……結果當然沒有令我失望!

Game name suggestions by Hugging Chat

我喜歡「Doodle Dash」(第 4 個建議)的頭韻,因此決定採用這個名稱。謝謝 Hugging Chat!🤗


希望你喜歡一起製作這款遊戲!如有問題或建議,可在 Twitter、GitHub 或 🤗 Hub 找到我。此外,若你想改進遊戲(新模式?強化道具?動畫?音效?),歡迎複製分支並提交 pull request!我很期待看看你的創作!

附註:記得參加 Open Source AI Game Jam!希望本文能啟發你使用 Transformers.js 製作自己的網頁遊戲!😉 Game Jam 見!🚀

來源:Hugging Face Blog · huggingface.co