跳到正文
Hugging Face Blog·· 2023-02-24精選AI 評分61

Diffusers for Mac 1.1 提升 Stable Diffusion 圖像生成速度

Swift 🧨Diffusers - Fast Stable Diffusion for Mac

AI 導讀

Hugging Face 的 Diffusers for Mac 1.1 已在 Mac App Store 提供,更新效能與介面,並會按電腦自動選擇加速器。文中稱,視乎電腦配置,文字生成圖像速度最高可達原來的兩倍;測試列出 GPU 與 ANE 在不同 Mac 上的表現。

推薦理由

文章按多款 Mac 和 Stable Diffusion 型號列出 GPU、ANE 的生成基準,並指出 M1 Max 上 GPU 較快、標準 M1 上 ANE 較快,呈現加速器選擇受硬件配置影響。

正文 · 繁體中文

使用 Mac 版 Diffusers 這款原生應用程式,輕鬆把文字轉化為令人驚艷的圖像。應用程式由最先進的擴散模型驅動,採用 Hugging Face Hub 社羣貢獻的一系列頂尖文字生成圖像模型,並轉換為 Core ML,以實現極高速效能。最新的 1.1 版將於今日在 Mac App Store 推出,帶來顯著效能提升和更易用的介面調整,為未來功能更新打下穩固基礎。此外,應用程式完全開放原始碼,採用寬鬆的授權條款,你亦可在此基礎上自行開發!詳情請參閲我們的 GitHub 儲存庫:https://github.com/huggingface/swift-coreml-diffusers。

Screenshot showing Diffusers for Mac UI

🧨Diffusers for Mac 到底是甚麼?

Diffusers 應用程式(App Store、原始碼)是我們🧨diffusers 函式庫的 Mac 版本。這個以 Python 和 PyTorch 編寫的函式庫採用模組化設計,用來訓練和執行擴散模型,支援多種模型和任務,並且高度可設定、經過充分最佳化。它也能在 Mac 上運行,使用 PyTorch 的 mps 加速器;這是 Apple Silicon 上 cuda 的替代方案。

那為甚麼要使用原生 Mac 應用程式?原因有很多:

  • 它採用 Core ML 模型,而非原始 PyTorch 模型。這很重要,因為 Core ML 模型可針對 Apple 硬件特點進行額外最佳化,而且能同時使用系統內所有運算裝置:CPU、GPU 和 Neural Engine。Core ML 框架會決定各裝置要執行模型的哪些部分,以盡量提升速度。PyTorch 的 mps 裝置則無法使用 Neural Engine。
  • 它是一款 Mac 應用程式!我們盡量遵循 Apple 的設計語言和指引,讓它在 Mac 上用起來自然順手。你毋須使用命令列、建立虛擬環境或修復相依項目。
  • 它在本機執行並保障私隱。你毋須購買網上服務點數,也不會遇上漫長排隊;想生成多少圖像都可以,用於娛樂或工作皆可。你的提示和圖像完全屬於你,絕不會離開電腦,除非你選擇分享。
  • 它採用開放原始碼,並以 Swift、Swift UI 及 Mac 和 iOS 開發領域的最新語言與技術編寫。如果你懂技術,可以使用 Xcode 隨意擴展程式碼。我們亦歡迎你作出貢獻!

效能基準測試

簡要總結:視乎你的電腦,Diffusers 1.1 的文字生成圖像速度最高可達快一倍。⚡️

我們在多款 Mac 上進行大量測試,以找出能發揮最佳效能的運算裝置組合。部分電腦使用 GPU 效果最好,另一些則更適合啟用 Neural Engine(ANE)。

來看看我們的基準測試。所有組合都會使用 CPU,並另外搭配 GPU 或 ANE。

模型名稱 基準測試 M1 8 GB M1 16 GB M2 24 GB M1 Max 64 GB
核心數(效能核心/GPU/ANE) 4/8/16 4/8/16 4/8/16 8/32/16
Stable Diffusion 1.5
GPU 32.9 32.8 21.9 9
ANE 18.8 18.7 13.1 20.4
Stable Diffusion 2 Base
GPU 30.2 30.2 19.4 8.3
ANE 14.5 14.4 10.5 15.3
Stable Diffusion 2.1 Base
GPU 29.6 29.4 19.5 8.3
ANE 14.3 14.3 10.5 15.3
OFA-Sys/small-stable-diffusion-v0
GPU 22.1 22.5 14.5 6.3
ANE 12.3 12.7 9.1 13.2

我們發現,記憶體容量似乎不太影響效能,CPU 和 GPU 核心數量才是關鍵。例如,在 M1 Max 手提電腦上,使用 GPU 生成比使用 ANE 快得多,這可能是因為它的 GPU 核心數量是標準 M1 的 4 倍,CPU 效能核心數量亦是兩倍,而兩者的 Neural Engine 核心數量相同。相反,在 Mac Mini 使用的標準 M1 處理器上,使用 ANE 比 GPU快一倍。有趣的是,我們也測試同時使用 GPU 和 ANE 加速器,發現相較於單獨使用其中一個所取得的最佳結果,同時使用並沒有提升效能。界線似乎落在 M1 Pro 晶片的硬件規格附近(8 個效能核心、14 或 16 個 GPU 核心),但我們目前未能取得這款晶片。

🧨Diffusers 1.1 會根據應用程式執行的電腦,自動選擇最佳加速器。部分裝置配置(例如「Pro」型號)並非我們所知的任何雲端服務都會提供,因此相關啟發式仍可改善。若你願意協助收集資料,讓我們持續改善應用程式開箱即用的體驗,請繼續閲讀!

社羣徵求基準測試數據

我們希望在 Mac 裝置上進行更全面的效能基準測試。若你願意幫忙,我們已建立這個 GitHub issue,你可以在此分享結果。我們會用這些數據最佳化即將推出的應用程式版本。我們尤其希望取得 M1 Pro、M2 Pro 和 M2 Max 架構的數據 🤗

Screenshot showing the Advanced Compute Units picker

1.1 版的其他改進

除了最佳化效能和修正一些錯誤,我們亦致力加入新功能,同時保持介面簡潔清晰。大部分新功能都一目瞭然(guidance scale、可選擇停用安全檢查器、允許取消生成)。我們最喜歡的是模型下載進度指示器,以及可重用上一次生成 seed 的捷徑,方便調整生成參數。

1.1 版亦加入更多資訊,解釋不同生成設定的作用。我們希望 🧨Diffusers for Mac 讓所有 Mac 使用者都能輕鬆上手圖像生成,而不只是技術人員。

下一步

我們相信 Apple 生態系統中的圖像生成潛力尚未充分發揮。未來更新會集中處理以下方向:

  • 讓使用者更容易從 Hub 取得其他模型。可用近似 Mac 原生的方式,直接在應用程式執行任何 Dreambooth 或微調模型。
  • 推出 iOS 和 iPadOS 版本。

我們還在考慮許多其他構想。如果你有建議,歡迎到我們的 GitHub 儲存庫告訴我們。

來源:Hugging Face Blog · huggingface.co