跳到正文
2024年6月12日週三
  1. Hugging Face Blog79

    Diffusers 支持 Stable Diffusion 3 Medium

    Hugging Face 宣佈 Stable Diffusion 3 Medium(2B parameters)已在 Hugging Face Hub 上提供,並可透過 Diffusers 使用。

    推薦理由:文章比較 offloading、移除 T5 與 8-bit T5 的顯存和耗時,並提供 torch.compile 加速與 LoRA 微調腳本,可作為 SD3 推理部署與微調的實作參考,並呈現節省顯存方案的耗時取捨。

2024年6月6日週四
  1. Hugging Face Blog64

    Artificial Analysis 推出文生圖模型排行榜與 Image Arena

    Artificial Analysis 推出文生圖模型排行榜與 Image Arena,以超過 45,000 次人類圖像偏好計算模型 ELO 排名。排行榜收錄 Midjourney、DALL·E、Stable Diffusion、Playground 等開源及專有模型,評測為每個模型生成超過 700 張圖像。用户可在 Image Arena 投票,投滿 30 票後查看個人化模型排名。

    推薦理由:排行榜以超過 45,000 次人類圖像偏好計算 ELO,並涵蓋開源與專有模型,為比較不同文生圖模型提供同一參照。

2024年4月12日週五
  1. Lilian Weng:Lil'Log59

    擴散模型如何生成影片:方法與架構梳理

    Lilian Weng 梳理了擴散模型生成影片的主要方法,涵蓋從頭訓練、改造預訓練圖像模型,以及免訓練適配。文章以跨影格時間一致性為核心問題,介紹 3D U-Net、DiT、Lumiere 的時空架構,以及透過跨影格注意力維持一致性的做法。Imagen Video 由 7 個擴散模型組成,文中提到實驗將每個模型蒸餾至 8 個取樣步驟,感知品質沒有明顯損失。

2023年11月24日週五
2023年10月29日週日
  1. 香港浸會大學 · AI 研究及應用32

    HKBU showcases cutting-edge innovations in digital humanities, art-tech and green technologies at InnoCarnival

    香港浸會大學在 InnoCarnival 2023 展示數碼人文、藝術科技及綠色科技研究成果,涵蓋香港保衞戰互動歷史地圖、AI 修復技術、BuVatar 數碼化身及人機藝術創作。綠色科技項目包括以催化劑分解塑膠廢料並轉化為燃料,油產率超過 90%,以及利用細菌將有機殘餘物轉化為生物塑膠。

2023年10月26日週四
  1. Figma AI / Agent / Make22

    Storyboarding the future of design and creativity

    Figma 首席產品總監 Yuhki Yamashita 描繪 Figma 與 Adobe 在設計及創意流程上的未來協作構想,包括把 Adobe Substance 3D 資產連結至 Figma、多人協作 3D 設計,以及用 Firefly 生成背景和延展圖片。構想亦涵蓋將可運作的 app 原型放進發布影片並自動更新、共享設計系統,以及在 Figma 使用 Adobe 字體。

2023年10月24日週二
  1. Hugging Face Blog70

    探索 SDXL 推理速度與記憶體的簡單優化方法

    Hugging Face 在 🤗 Diffusers 中測試多種 SDXL 推理優化方法,並於 A100 GPU(40 GB)比較其記憶體佔用和推理延遲。未優化管線為 28.09GB、72,200.5ms;fp16 + SDPA 降至 21.72GB、11,413.0ms,加入 torch.compile 後延遲為 10,296.7ms。

    推薦理由:文章以 A100 測試數據對照 SDXL 加速與省記憶體方案的取捨,並説明 Tiny Autoencoder 可能省略部分圖像細節,提供按硬件限制與生成用途選擇配置的參考。

2023年10月11日週三
  1. Runway:News(網頁)43

    緩解文字生成圖像系統中的刻板偏見

    Runway 的研究團隊提出多樣性微調(DFT)方法,透過涵蓋不同膚色、性別、職業及年齡組別的合成數據,緩解文字生成圖像模型中的社會偏見。DFT 將感知膚色的羣體公平性指標提升 150%,將感知性別的指標提升 97.7%;相較基準模型,生成結果包含更多深膚色人士及女性。團隊表示將公開所有提示詞及生成訓練圖像的程式碼。

2023年8月1日週二
  1. Hugging Face Blog48

    Segmind 開源 SD-Small 與 SD-Tiny 的知識蒸餾程式碼及權重

    Segmind 開源 SD-Small 與 SD-Tiny 的知識蒸餾程式碼及預訓練權重;兩款模型參數量分別較基礎模型少 35% 和 55%,圖像保真度相若。兩者推理速度最高較基礎模型快 100%,預訓練檢查點可於 Hugging Face 取得。模型仍處早期階段,輸出未必達生產級,且在組合性與多概念生成方面表現有限。

2023年3月24日週五
  1. Hugging Face Blog70

    如何使用 diffusers 訓練 ControlNet

    Hugging Face Blog 示範使用 diffusers 為 Stable Diffusion 訓練 ControlNet,並以 FaceSynthetics 的 100K 張合成臉製作人臉姿勢條件資料。

    推薦理由:文章以 FaceSynthetics 示範從人臉關鍵點製作 ControlNet 條件圖、整理訓練資料到配置低顯存參數的流程,可供類似訓練任務參照。

2023年2月24日週五
  1. Hugging Face Blog61

    Diffusers for Mac 1.1 提升 Stable Diffusion 圖像生成速度

    Hugging Face 的 Diffusers for Mac 1.1 已在 Mac App Store 提供,更新效能與介面,並會按電腦自動選擇加速器。文中稱,視乎電腦配置,文字生成圖像速度最高可達原來的兩倍;測試列出 GPU 與 ANE 在不同 Mac 上的表現。

    推薦理由:文章按多款 Mac 和 Stable Diffusion 型號列出 GPU、ANE 的生成基準,並指出 M1 Max 上 GPU 較快、標準 M1 上 ANE 較快,呈現加速器選擇受硬件配置影響。

2023年1月26日週四
  1. Hugging Face Blog58

    AI 遊戲開發 #4:2D 素材生成

    這篇教程示範如何把 Stable Diffusion 的 Image2Image 納入 2D 遊戲素材製作流程,從手繪草圖迭代生成素材。作者以玉米圖示説明先用 denoising strength 0.8 生成,再手動修改並以 0.6 重新生成,不到 10 分鐘便完成可直接用於遊戲的圖示。

2023年1月2日週一
2022年12月1日週四
2022年11月25日週五
2022年11月7日週一
  1. Hugging Face Blog73

    使用 Diffusers 以 Dreambooth 微調 Stable Diffusion 的實驗與設定建議

    Hugging Face 團隊以 Diffusers 的 `train_dreambooth.py` 對 Stable Diffusion 進行 Dreambooth 微調實驗,整理降低過擬合及改善生成品質的設定建議。

    推薦理由:文中以不同主體的對照實驗梳理學習率、訓練步數與 prior preservation 對過擬合的影響,為 Dreambooth 微調提供具體設定參照。

2022年11月3日週四
2022年10月5日週三
  1. Hugging Face Blog61

    rinna 發佈日語文本生成圖像模型 Japanese Stable Diffusion

    rinna Co., Ltd. 發佈 Japanese Stable Diffusion,這款文本生成圖像模型以日語標註圖片微調 Stable Diffusion,支援日語提示詞並生成反映日語文化圈的圖像。

    推薦理由:文章拆解 Japanese Stable Diffusion 的兩階段微調流程,説明專用日語文本編碼器與聯合調整潛在擴散模型的作用,訓練數據約為 Stable Diffusion 訓練集的 1/20。

2022年9月28日週三
2022年9月12日週一
  1. Hugging Face Blog81

    Diffusers 0.3 新增圖生圖、Textual Inversion 等功能

    Hugging Face 團隊介紹 Diffusers 0.3 的功能更新,涵蓋圖生圖、Textual Inversion、實驗性修補管線及推理優化。Textual Inversion 可用 3-5 張樣本個人化 Stable Diffusion;啟用優化後,Stable Diffusion 僅需 3.2GB VRAM,生成結果相同但速度降低 10%。

    推薦理由:Diffusers 0.3 把圖生圖、模型個人化等功能更新,連同小顯存、Mac 與 ONNX 的操作示例一併呈現,便於對照 Stable Diffusion 在不同環境的操作與部署方式。

2022年8月31日週三
2022年8月22日週一
  1. Hugging Face Blog78

    使用 Diffusers 執行 Stable Diffusion 圖像生成並自訂推理流程

    Hugging Face 文章示範如何用 Diffusers 的 StableDiffusionPipeline 執行 Stable Diffusion 文生圖,並介紹模型原理及自訂推理流程。

    推薦理由:文章從 Stable Diffusion 的基礎生成示例延伸至參數設定與自訂推理流程,並解釋 VAE、U-Net 和文字編碼器在潛在空間生成中的分工,提供拆解 Diffusers pipeline 的實用脈絡。

2022年7月20日週三
  1. OpenAI News82

    DALL·E 開放 Beta,將在未來數週邀請 1 million 名候補名單用户

    OpenAI 宣佈 DALL·E 開放 Beta,並將在未來數週邀請候補名單中的 1 million 人使用。用户可使用每月補充的免費點數創作,也可按每 115 次生成 $15 的價格購買額外點數。

    推薦理由:材料同時列出候補邀請規模、免費點數補充頻率及額外點數價格,能讓讀者瞭解 Beta 開放初期的使用方式與成本。

2022年7月18日週一
2022年5月18日週三
2022年4月14日週四
  1. Runway:News(網頁)84

    潛在擴散模型論文提出高解像度圖像合成方法

    研究團隊提出潛在擴散模型(LDM),在預訓練自編碼器的潛在空間中執行擴散,以降低相對於像素空間擴散模型的計算需求,並保留生成質素與靈活性。模型透過交叉注意力接收文字或邊界框等條件輸入,支援高解像度生成;研究亦涵蓋無條件圖像生成、圖像修補及超解像。

    推薦理由:論文將擴散模型移至預訓練自編碼器的潛在空間,並以交叉注意力接收文字等條件輸入,展示降低計算需求與支援高解像度生成的做法。

2021年7月11日週日
  1. Lilian Weng:Lil'Log71

    甚麼是擴散模型?原理、訓練與加速採樣方法

    擴散模型透過逐步向資料加入隨機噪聲,再學習反向去噪,從噪聲生成目標樣本;文章介紹其原理、訓練方法與主要改進方向。內容涵蓋 DDPM 的噪聲預測訓練、分類器及無分類器引導,以及 DDIM、漸進式蒸餾和一致性模型等採樣方法。文章亦介紹在潛在空間進行擴散的潛在擴散模型,並指出擴散模型依賴長鏈採樣,生成仍然耗時。

2021年2月26日週五
2021年1月5日週二
  1. OpenAI News71

    DALL·E:根據文字生成圖像

    OpenAI 訓練了名為 DALL·E 的神經網絡,可根據文字描述生成圖像,涵蓋自然語言能表達的多種概念。

    推薦理由:材料指出 DALL·E 可按文字描述生成涵蓋多種自然語言概念的圖像,清楚交代了其輸入形式與生成範圍。

2020年12月11日週五
2018年7月9日週一
  1. OpenAI News54

    Glow:更佳的可逆生成模型

    OpenAI 提出 Glow,一種使用可逆 1x1 卷積的生成模型,延伸既有可逆生成模型並簡化架構。Glow 可生成逼真的高解像度圖像、支援高效採樣,並發現可用於操控數據屬性的特徵;OpenAI 同時釋出模型程式碼和線上視覺化工具,供人探索及延續相關成果。