在 Apple Silicon 上透過 Core ML 使用 Stable Diffusion
Hugging Face Blog 介紹如何在 Apple Silicon 上透過 Core ML 運行 Stable Diffusion,並提供自行轉換後上載至 Hugging Face Hub 的模型權重。
推薦理由:文章交代 Python 與 Swift 所需的模型封裝、attention 變體及運算單元差異,能幫助開發者按硬件和使用方式選擇 Core ML 推理配置。
AI 畫圖的最前線:文生圖模型迭代、圖像編輯能力與創作工具生態的全部動態。
Hugging Face Blog 介紹如何在 Apple Silicon 上透過 Core ML 運行 Stable Diffusion,並提供自行轉換後上載至 Hugging Face Hub 的模型權重。
推薦理由:文章交代 Python 與 Swift 所需的模型封裝、attention 變體及運算單元差異,能幫助開發者按硬件和使用方式選擇 Core ML 推理配置。
Hugging Face 團隊以 Diffusers 的 `train_dreambooth.py` 對 Stable Diffusion 進行 Dreambooth 微調實驗,整理降低過擬合及改善生成品質的設定建議。
推薦理由:文中以不同主體的對照實驗梳理學習率、訓練步數與 prior preservation 對過擬合的影響,為 Dreambooth 微調提供具體設定參照。
OpenAI 宣佈 DALL·E API 開放公測,開發者可開始用它構建應用。
推薦理由:公告交代 DALL·E API 已開放公測及開發者可開始構建應用,呈現了這次開放對應的對象與實際用途。
rinna Co., Ltd. 發佈 Japanese Stable Diffusion,這款文本生成圖像模型以日語標註圖片微調 Stable Diffusion,支援日語提示詞並生成反映日語文化圈的圖像。
推薦理由:文章拆解 Japanese Stable Diffusion 的兩階段微調流程,説明專用日語文本編碼器與聯合調整潛在擴散模型的作用,訓練數據約為 Stable Diffusion 訓練集的 1/20。
OpenAI 宣佈 DALL·E 不再設候補名單,新用户可立即開始創作。OpenAI 表示,部署過程累積的經驗及安全系統改進,讓服務得以擴大開放。
推薦理由:DALL·E 取消候補名單後,新用户可立即開始創作;OpenAI 同時交代擴大開放所依據的部署經驗與安全系統改進。
Hugging Face 團隊介紹 Diffusers 0.3 的功能更新,涵蓋圖生圖、Textual Inversion、實驗性修補管線及推理優化。Textual Inversion 可用 3-5 張樣本個人化 Stable Diffusion;啟用優化後,Stable Diffusion 僅需 3.2GB VRAM,生成結果相同但速度降低 10%。
推薦理由:Diffusers 0.3 把圖生圖、模型個人化等功能更新,連同小顯存、Mac 與 ONNX 的操作示例一併呈現,便於對照 Stable Diffusion 在不同環境的操作與部署方式。
DALL·E 推出 outpainting 功能,讓圖像可延展至任意尺寸,以擴展創作並講述更大的故事。
Hugging Face 文章示範如何用 Diffusers 的 StableDiffusionPipeline 執行 Stable Diffusion 文生圖,並介紹模型原理及自訂推理流程。
推薦理由:文章從 Stable Diffusion 的基礎生成示例延伸至參數設定與自訂推理流程,並解釋 VAE、U-Net 和文字編碼器在潛在空間生成中的分工,提供拆解 Diffusers pipeline 的實用脈絡。
OpenAI 宣佈 DALL·E 開放 Beta,並將在未來數週邀請候補名單中的 1 million 人使用。用户可使用每月補充的免費點數創作,也可按每 115 次生成 $15 的價格購買額外點數。
推薦理由:材料同時列出候補邀請規模、免費點數補充頻率及額外點數價格,能讓讀者瞭解 Beta 開放初期的使用方式與成本。
OpenAI 訓練了名為 DALL·E 的神經網絡,可根據文字描述生成圖像,涵蓋自然語言能表達的多種概念。
推薦理由:材料指出 DALL·E 可按文字描述生成涵蓋多種自然語言概念的圖像,清楚交代了其輸入形式與生成範圍。