跳到正文
Hugging Face Blog·· 2022-10-05精選AI 評分61

rinna 發佈日語文本生成圖像模型 Japanese Stable Diffusion

Japanese Stable Diffusion

AI 導讀

rinna Co., Ltd. 發佈 Japanese Stable Diffusion,這款文本生成圖像模型以日語標註圖片微調 Stable Diffusion,支援日語提示詞並生成反映日語文化圈的圖像。

推薦理由

文章拆解 Japanese Stable Diffusion 的兩階段微調流程,説明專用日語文本編碼器與聯合調整潛在擴散模型的作用,訓練數據約為 Stable Diffusion 訓練集的 1/20。

正文 · 繁體中文

Open In Hugging Face Spaces

Open In Colab

由 CompVis、Stability AI 和 LAION 開發的 Stable Diffusion,只需輸入文字提示詞便能生成高度準確的圖像,因此備受關注。Stable Diffusion 主要使用 LAION2B-en,這是 LAION-5B 數據集的英文子集,並作為訓練數據,因此需要輸入英文提示詞,生成的圖像也較偏向西方文化。

rinna Co., Ltd 透過日語圖説圖像微調 Stable Diffusion,開發出名為「Japanese Stable Diffusion」的日語專用文字轉圖像模型。Japanese Stable Diffusion 接受日語提示詞,並能生成反映日語世界文化的圖像,有些內容可能難以透過翻譯表達。

本文會介紹 Japanese Stable Diffusion 的開發背景和訓練方法。 Japanese Stable Diffusion 已在 Hugging Face 和 GitHub 上發布。程式碼以 🧨 Diffusers 為基礎。

Stable Diffusion

近期有報告指出,擴散模型在人工合成方面非常有效,圖像生成效果甚至勝過 GAN(生成對抗網絡)。Hugging Face 在以下文章中解釋擴散模型的運作原理:

一般而言,文字轉圖像模型由文本編碼器和生成模型組成:前者解讀文字,後者根據其輸出生成圖像。

Stable Diffusion 使用 OpenAI 的語言圖像預訓練模型 CLIP 作為文本編碼器,並以潛在擴散模型(改良版擴散模型)作為生成模型。Stable Diffusion 主要以 LAION-5B 的英文子集訓練,只需輸入文字提示詞便能生成高效能圖像。除了效能出色,Stable Diffusion 也容易使用,推論只需約 10GB VRAM GPU 的運算成本。

sd-pipeline

摘自 使用 🧨 Diffusers 的 Stable Diffusion

Japanese Stable Diffusion

為何需要 Japanese Stable Diffusion?

Stable Diffusion 是非常強大的文字轉圖像模型,不論品質或運算成本皆然。由於 Stable Diffusion 以英文數據集訓練,非英文提示詞必須先翻譯成英文。令人意外的是,即使使用非英文提示詞,Stable Diffusion 有時仍能生成合適圖像。

那麼,為甚麼需要語言專用的 Stable Diffusion?因為我們希望文字轉圖像模型能理解日本文化、身份認同和獨特表達方式,包括俚語。舉例而言,日語常用詞「salary man」是從英文 businessman 重新詮釋而來,我們通常會想像成一位穿西裝的男士。Stable Diffusion 無法正確理解這些日本獨有的詞語,因為日語並非其目標語言。

salary man of stable diffusion

原版 Stable Diffusion 生成的「salary man, oil painting」

因此,我們製作了語言專用版本的 Stable Diffusion。相較原版,Japanese Stable Diffusion 可做到以下幾點:

  • 生成日式風格圖像
  • 理解由英文改編而來的日語詞語
  • 理解日語獨有的擬聲詞
  • 理解日語專有名詞

訓練數據

我們使用約 100 million 張附有日語圖説的圖像訓練模型,其中包括 LAION-5B 的日語子集。此外,為移除低質素樣本,我們在預處理階段使用 rinna Co., Ltd 發布的 japanese-cloob-vit-b-16,剔除評分低於特定門檻的樣本。

訓練詳情

開發日語專用文字轉圖像模型時,最大挑戰是數據集規模。非英文數據集遠小於英文數據集,這會令深度學習模型效能下降。Japanese Stable Diffusion 的訓練數據集只有 Stable Diffusion 訓練數據集的 1/20。為了以如此小型的數據集製作優質模型,我們選擇微調已在英文數據集訓練的強大 Stable Diffusion,而非從頭訓練文字轉圖像模型。

為了製作優質的語言專用文字轉圖像模型,我們沒有隻做微調,而是按照 PITI 的思路分兩個階段訓練。

第一階段:訓練日語專用文本編碼器

第一階段會固定潛在擴散模型,並以日語專用文本編碼器取代英文文本編碼器,再對新編碼器進行訓練。這時會使用我們的日語 sentencepiece tokenizer。若直接使用 CLIP tokenizer,日語文本會被切成位元組,難以學習 token 之間的依存關係,token 數量也會不必要地增加。例如,將「サラリーマン 油絵」切分後會得到 ['ãĤ', 'µ', 'ãĥ©', 'ãĥª', 'ãĥ¼ãĥ', 'ŀ', 'ãĥ³</w>', 'æ', '²', '¹', 'çµ', 'µ</w>'],這些 token 難以理解。

from transformers import CLIPTokenizer
tokenizer = CLIPTokenizer.from_pretrained("openai/clip-vit-large-patch14")
text = "サラリーマン 油絵"
tokens = tokenizer(text, add_special_tokens=False)['input_ids']
print("tokens:", tokenizer.convert_ids_to_tokens(tokens))
# tokens: ['ãĤ', 'µ', 'ãĥ©', 'ãĥª', 'ãĥ¼ãĥ', 'ŀ', 'ãĥ³</w>', 'æ', '²', '¹', 'çµ', 'µ</w>']
print("decoded text:", tokenizer.decode(tokens))
# decoded text: サラリーマン 油絵

相反,使用我們的日語 tokenizer,提示詞會被切分成可理解的 token,數量也會減少。例如,「サラリーマン 油絵」會被切分為 ['▁', 'サラリーマン', '▁', '油', '絵'],符合日語的切詞方式。

from transformers import T5Tokenizer
tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-stable-diffusion", subfolder="tokenizer", use_auth_token=True)
tokenizer.do_lower_case = True
tokens = tokenizer(text, add_special_tokens=False)['input_ids']
print("tokens:", tokenizer.convert_ids_to_tokens(tokens))
# tokens: ['▁', 'サラリーマン', '▁', '油', '絵']
print("decoded text:", tokenizer.decode(tokens))
# decoded text: サラリーマン 油絵

這個階段讓模型理解日語提示詞,但由於潛在擴散模型完全沒有改動,生成的圖像仍未呈現日式風格。換言之,模型能把日語詞語「salary man」解讀為英文 businessman,但如圖所示,生成的會是一位西方面孔的商人。

salary man of japanese stable diffusion at stage 1

第一階段 Japanese Stable Diffusion 生成的「サラリーマン 油絵」,意思正是「salary man, oil painting」

因此,第二階段會訓練模型輸出更多日式風格圖像。

第二階段:共同微調文本編碼器和潛在擴散模型

第二階段會同時訓練文本編碼器和潛在擴散模型,以生成日式風格圖像。這個階段對建立更具語言特色的模型至關重要。完成後,模型終於能像下圖一樣,生成一位日方面孔的商人。

salary man of japanese stable diffusion

第二階段 Japanese Stable Diffusion 生成的「サラリーマン 油絵」,意思正是「salary man, oil painting」

rinna 的開放策略

許多研究機構本著普及 AI 的理念,公開研究成果,希望建立人人都能輕鬆使用 AI 的世界。近期,基於大量訓練數據和龐大參數量的預訓練模型已成為主流,也有人擔心擁有運算資源的研究機構會壟斷高效能 AI。值得慶幸的是,許多預訓練模型已陸續發布,推動 AI 技術發展。然而,文本預訓練模型往往以全球最常用的語言英語為目標。我們相信,若要讓所有人都能輕鬆使用 AI,就應讓大家也能以英語以外的語言使用最先進 AI。

因此,rinna Co., Ltd. 已發布日語專用的 GPT、BERT 和 CLIP,如今亦發布了 Japanese Stable Diffusion。透過發布日語專用預訓練模型,我們希望 AI 不但不偏向英語世界的文化,也能融入日語世界的文化。讓所有人都能使用這些模型,有助普及能保障日本文化身份認同的 AI。

未來展望

與 Stable Diffusion 相比,Japanese Stable Diffusion 的通用性較低,準確度方面仍有一些問題。不過,透過開發和發布 Japanese Stable Diffusion,我們希望向研究社羣展示語言專用模型開發的重要性和潛力。

rinna Co., Ltd. 已發布日語文本 GPT 和 BERT 模型,以及日語文本與圖像 CLIP、CLOOB 和 Japanese Stable Diffusion 模型。我們會繼續改進這些模型,下一步會考慮發布以自我監督學習為基礎的日語專用語音模型。

來源:Hugging Face Blog · huggingface.co