跳到正文
OpenAI News·· 2021-01-05精選AI 評分71

DALL·E:根據文字生成圖像

DALL·E: Creating images from text

AI 導讀

OpenAI 訓練了名為 DALL·E 的神經網絡,可根據文字描述生成圖像,涵蓋自然語言能表達的多種概念。

推薦理由

材料指出 DALL·E 可按文字描述生成涵蓋多種自然語言概念的圖像,清楚交代了其輸入形式與生成範圍。

正文 · 繁體中文

DALL·E 是一個擁有 12-billion 個參數的版本,屬於 GPT‑3⁠(在新視窗開啟) 並經訓練,可根據文字描述生成圖像,使用的資料集包含文字–圖像配對。我們發現,它具備多種能力,包括創作動物和物件的擬人化版本、以合理方式結合互不相關的概念、呈現文字,以及對現有 圖像套用轉換。

另請參閱: DALL·E 2⁠,它能生成更寫實、準確的圖像,解像度高出 4x。

GPT‑3 展示了語言可用來指示大型神經網絡執行各種文字生成任務。 Image GPT⁠ 展示了同類神經網絡也能以高保真度生成圖像。我們將這些發現進一步延伸,展示透過語言操控視覺概念如今已觸手可及。

概覽

如同 GPT‑3,DALL·E 是一個 Transformer 語言模型。它將文字和圖像作為單一資料串流一併接收,最多包含 1280 個詞元,並以最大概似法訓練,逐一生成所有詞元。 A

這套訓練流程不但讓 DALL·E 能從零生成圖像,也能重繪現有圖像中延伸至右下角的任何矩形區域,並使生成結果符合文字 提示。

我們明白,生成式模型相關工作可能對社會造成重大而廣泛的影響。未來,我們計劃分析 DALL·E 等模型與社會議題的關係,例如對某些工作流程和職業的經濟影響、模型輸出可能存在的偏見,以及這項 技術帶來的長期倫理挑戰。

能力

我們發現,DALL·E 能為各式各樣展現語言組合結構的句子創作合理的圖像。我們在下一節透過一系列互動式視覺示例說明這一點。這些視覺示例中每則說明文字所展示的樣本,是在以 CLIP⁠重新排序後,從 512 個樣本中取排名最高的 32 個;但我們沒有進行任何人工挑選,視覺示例以外展示的縮圖和獨立圖像除外。B

控制屬性

我們測試 DALL·E 修改物件多項屬性的能力,以及控制物件出現次數的能力。

繪製多個物件

同時控制多個物件、它們的屬性及彼此的空間關係,是一項新挑戰。舉例來說,請考慮這句話:「一隻戴著紅帽、戴著黃色手套、穿著藍色上衣和綠色長褲的刺蝟。」要正確理解這句話,DALL·E 不但必須將每件衣物正確配搭到動物身上,還要建立(帽子,紅色)、(手套,黃色)、(上衣,藍色)和(褲子,綠色)這些對應關係,不能混淆 C

 我們測試 DALL·E 在相對位置、物件堆疊和控制多項屬性方面的能力。

雖然 DALL·E 確實能在一定程度上控制少數物件的屬性和位置,但成功率可能取決於說明文字的措辭。引入更多物件後,DALL·E 容易混淆物件與顏色之間的對應關係,成功率也會急劇下降。我們亦留意到,在這些情況下,DALL·E 對改寫說明文字的承受力很低:語意相同的替代說明文字往往無法得到任何正確解讀。

呈現透視與三維感

我們發現,DALL·E 亦可控制場景的視角,以及場景採用的 3D 繪製風格。

為進一步探究,我們測試 DALL·E 能否按一系列等間隔角度,反覆繪製一位知名人物的頭部;結果發現,我們可以還原出該頭部旋轉的流暢動畫。

DALL·E 似乎能對場景套用某些類型的光學變形,例如「魚眼鏡頭視角」和「球形全景」。這促使我們進一步探究它生成 倒影的能力。

內部與外部結構的視覺呈現

「極端特寫視角」和「X 光」風格的樣本,令我們進一步探究 DALL·E 以剖面圖呈現內部結構、以微距 照片呈現外部結構的能力。

推斷情境細節

文字轉圖像的任務規格並不完整:單一說明文字通常對應無數種合理的圖像,因此無法唯一確定圖像。例如,請看這句說明文字:「一幅水豚在日出時坐於田野上的畫作。」視乎水豚的朝向,可能需要畫出陰影,但文字從未明確提及這個細節。我們探討 DALL·E 在三種情況下解決規格不足問題的能力:改變風格、場景和時間;在多種不同情境中繪製同一物件;以及生成一件物件上寫有指定文字的圖像。

在可靠程度不一的情況下,DALL·E 可讓人透過自然語言使用 3D 渲染引擎的部分功能。它可以獨立控制少量物件的屬性,並在有限程度上控制物件數量,以及物件彼此的排列方式。它亦可以控制渲染場景時採用的位置和角度,並可按照精確的角度和照明 條件生成已知物件。

與輸入必須明確無誤且詳盡完整的 3D 渲染引擎不同,當說明文字暗示圖像必須包含某個未明確寫出的細節時,DALL·E 往往能「自行補足空白」。

應用上述能力

接下來,我們探討如何將上述能力應用於時裝和室內 設計。

語言的組合特性讓我們能把不同概念組合起來,描述真實和虛構的事物。我們發現,DALL·E 也能結合不同想法來合成物件,其中有些物件在現實世界中不太可能存在。我們透過兩個例子探討這種能力:把不同概念的特質轉移到動物身上,以及從互不相關的概念汲取靈感來設計產品。

動物插圖

上一節中,我們探討了 DALL·E 生成現實物件圖像時結合互不相關概念的能力。此處我們從藝術角度探討這種能力,聚焦三類插圖:動物和物件的擬人化版本、動物嵌合體,以及 表情符號。

零樣本視覺推理

只要在提示中提供描述和一個要求生成答案的提示,GPT‑3 無須額外訓練,就能按指示執行多種任務。例如,提示內容為「將句子『一個人在公園遛狗』翻譯成法文:」時,GPT‑3 會回答「un homme qui promène son chien dans le parc」。這種能力稱為 零樣本推理。 我們發現,DALL·E 將這種能力延伸至視覺領域;只要提示方式恰當,它便能執行多種圖像轉圖像翻譯任務。

我們原先沒有預料到會出現這種能力,也沒有修改神經網絡或訓練流程來促使它出現。受這些結果啟發,我們透過 Raven’s 漸進矩陣測試 DALL·E 的類比推理能力;這是一項視覺智商測驗,曾在 20th 世紀廣泛使用。

地理知識

我們發現,DALL·E 已學會地理事實、地標和街區等資訊。它對這些概念的了解,在某些方面出奇地精確,在另一些方面則有缺漏。

時間知識

除了探究 DALL·E 對空間上有所變化的概念的了解,我們也探究它對時間上有所變化的概念的了解。

方法概述與先前研究

DALL·E 是一個簡單的僅解碼器 Transformer,將文字和圖像作為包含 1280 個詞元的單一資料串流一併接收——其中 256 個屬於文字,1024 個屬於圖像——並以自迴歸方式為所有詞元建模。它的 64 層自注意力層各自使用注意力遮罩,讓每個圖像詞元都能關注所有文字詞元。DALL·E 對文字詞元使用標準因果遮罩,對圖像詞元則使用稀疏注意力;視乎層數而定,注意力模式可為列、欄或卷積式。我們在 論文⁠(在新視窗開啟)中提供更多架構和訓練流程的詳情。

自 Reed et. al 的開創性研究以來,1 文字轉圖像合成一直是活躍的研究領域;他們的方法採用以文字嵌入為條件的 GAN。這些嵌入由使用對比損失預先訓練的編碼器產生,與 CLIP 的做法相近。StackGAN3 和 StackGAN++4 使用多尺度 GAN 提高圖像解像度和視覺逼真度。AttnGAN5 在文字和圖像特徵之間加入注意力機制,並提出對比式文字–圖像特徵匹配損失,作為輔助目標。這與我們離線使用 CLIP 重新排序的做法值得比較。其他研究2, 6, 7在訓練期間加入額外監督來源,以提升圖像品質。最後,Nguyen et. al8 和 Cho et. al9 探討使用預訓練多模態判別模型的取樣式圖像生成策略。

與 VQVAE-2⁠(在新視窗開啟)中採用的拒絕取樣類似,我們使用 CLIP⁠在所有互動式視覺示例中,從每則說明文字的 512 個樣本中重新排序,選出排名最高的 32 個。這個流程也可視為一種語言引導的搜尋16,而且能大幅影響樣本品質。

註腳

  1. A

    詞元是離散詞彙表中的任何符號;對人類而言,每個英文字母都是 26-letter 字母表中的一個詞元。DALL·E 的詞彙表包含代表文字和圖像概念的詞元。具體而言,每段圖像說明最多以 256 個 BPE 編碼詞元表示,詞彙表大小為 16384;而圖像則以 1024 個詞元表示,詞彙表大小為 8192。

訓練期間,圖像會預處理至 256x256 解像度。與 VQVAE 類似, 每張圖像會使用離散 VAE 壓縮成 32x32 的離散潛在碼網格 ;該 VAE 是我們使用連續鬆弛法預先訓練的。 我們發現,使用鬆弛法訓練可免去明確碼本、EMA 損失或死碼復活等技巧的需要,而且能擴展至大型詞彙表。

  1. B
  2. 17

    這項任務稱為變數綁定,文獻中已有大量研究探討。

參考資料

  1. 1

    Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., Lee, H. (2016). “生成對抗式文字轉圖像合成⁠(在新視窗開啟)”。收錄於 ICML 2016。

  2. 2

    Reed, S., Akata, Z., Mohan, S., Tenka, S., Schiele, B., Lee, H. (2016). “學習畫甚麼,以及在哪裏畫⁠(在新視窗開啟)”。收錄於 NIPS 2016。

  3. 3

    Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang X., Metaxas, D. (2016). “StackGAN:以堆疊式生成對抗網絡合成寫實相片圖像⁠(在新視窗開啟)”。收錄於 ICCY 2017。

  4. 4

    Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., Metaxas, D. (2017). “StackGAN++:以堆疊式生成對抗網絡合成寫實圖像⁠(在新視窗開啟)”。收錄於 IEEE TPAMI 2018。

  5. 5

    Xu, T., Zhang, P., Huang, Q., Zhang, H., Gan, Z., Huang, X., He, X. (2017). “AttnGAN:運用注意力生成對抗網絡進行細緻的文字轉圖像生成⁠(在新視窗開啟)。

  6. 6

    Li, W., Zhang, P., Zhang, L., Huang, Q., He, X., Lyu, S., Gao, J. (2019). “透過對抗式訓練進行物件導向的文字轉圖像合成⁠(在新視窗開啟)”。收錄於 CVPR 2019。

  7. 7
  8. 8
  9. 9

    Cho, J., Lu, J., Schwen, D., Hajishirzi, H., Kembhavi, A. (2020). “X-LXMERT:以多模態 Transformer 繪畫、撰寫說明文字及回答問題⁠(在新視窗開啟)”。EMNLP 2020。

  10. 10
  11. 11
  12. 12
  13. 13
  14. 14
  15. 15
  16. 16
  17. 17
  18. 18
  19. 19
  20. 20

主要作者

Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray

協作作者

Mark Chen, Rewon Child, Vedant Misra, Pamela Mishkin, Gretchen Krueger, Sandhini Agarwal, Ilya Sutskever

來源:OpenAI News · openai.com