DALL·E:根據文字生成圖像
DALL·E: Creating images from text
OpenAI 訓練了名為 DALL·E 的神經網絡,可根據文字描述生成圖像,涵蓋自然語言能表達的多種概念。
材料指出 DALL·E 可按文字描述生成涵蓋多種自然語言概念的圖像,清楚交代了其輸入形式與生成範圍。
DALL·E 是一個擁有 12-billion 個參數的版本,屬於 GPT‑3(在新視窗開啟) 並經訓練,可根據文字描述生成圖像,使用的資料集包含文字–圖像配對。我們發現,它具備多種能力,包括創作動物和物件的擬人化版本、以合理方式結合互不相關的概念、呈現文字,以及對現有 圖像套用轉換。
另請參閱: DALL·E 2,它能生成更寫實、準確的圖像,解像度高出 4x。
GPT‑3 展示了語言可用來指示大型神經網絡執行各種文字生成任務。 Image GPT 展示了同類神經網絡也能以高保真度生成圖像。我們將這些發現進一步延伸,展示透過語言操控視覺概念如今已觸手可及。
概覽
如同 GPT‑3,DALL·E 是一個 Transformer 語言模型。它將文字和圖像作為單一資料串流一併接收,最多包含 1280 個詞元,並以最大概似法訓練,逐一生成所有詞元。 A
這套訓練流程不但讓 DALL·E 能從零生成圖像,也能重繪現有圖像中延伸至右下角的任何矩形區域,並使生成結果符合文字 提示。
我們明白,生成式模型相關工作可能對社會造成重大而廣泛的影響。未來,我們計劃分析 DALL·E 等模型與社會議題的關係,例如對某些工作流程和職業的經濟影響、模型輸出可能存在的偏見,以及這項 技術帶來的長期倫理挑戰。
能力
我們發現,DALL·E 能為各式各樣展現語言組合結構的句子創作合理的圖像。我們在下一節透過一系列互動式視覺示例說明這一點。這些視覺示例中每則說明文字所展示的樣本,是在以 CLIP重新排序後,從 512 個樣本中取排名最高的 32 個;但我們沒有進行任何人工挑選,視覺示例以外展示的縮圖和獨立圖像除外。B
控制屬性
我們測試 DALL·E 修改物件多項屬性的能力,以及控制物件出現次數的能力。
繪製多個物件
同時控制多個物件、它們的屬性及彼此的空間關係,是一項新挑戰。舉例來說,請考慮這句話:「一隻戴著紅帽、戴著黃色手套、穿著藍色上衣和綠色長褲的刺蝟。」要正確理解這句話,DALL·E 不但必須將每件衣物正確配搭到動物身上,還要建立(帽子,紅色)、(手套,黃色)、(上衣,藍色)和(褲子,綠色)這些對應關係,不能混淆 C
我們測試 DALL·E 在相對位置、物件堆疊和控制多項屬性方面的能力。
雖然 DALL·E 確實能在一定程度上控制少數物件的屬性和位置,但成功率可能取決於說明文字的措辭。引入更多物件後,DALL·E 容易混淆物件與顏色之間的對應關係,成功率也會急劇下降。我們亦留意到,在這些情況下,DALL·E 對改寫說明文字的承受力很低:語意相同的替代說明文字往往無法得到任何正確解讀。
呈現透視與三維感
我們發現,DALL·E 亦可控制場景的視角,以及場景採用的 3D 繪製風格。
為進一步探究,我們測試 DALL·E 能否按一系列等間隔角度,反覆繪製一位知名人物的頭部;結果發現,我們可以還原出該頭部旋轉的流暢動畫。
DALL·E 似乎能對場景套用某些類型的光學變形,例如「魚眼鏡頭視角」和「球形全景」。這促使我們進一步探究它生成 倒影的能力。
內部與外部結構的視覺呈現
「極端特寫視角」和「X 光」風格的樣本,令我們進一步探究 DALL·E 以剖面圖呈現內部結構、以微距 照片呈現外部結構的能力。
推斷情境細節
文字轉圖像的任務規格並不完整:單一說明文字通常對應無數種合理的圖像,因此無法唯一確定圖像。例如,請看這句說明文字:「一幅水豚在日出時坐於田野上的畫作。」視乎水豚的朝向,可能需要畫出陰影,但文字從未明確提及這個細節。我們探討 DALL·E 在三種情況下解決規格不足問題的能力:改變風格、場景和時間;在多種不同情境中繪製同一物件;以及生成一件物件上寫有指定文字的圖像。
在可靠程度不一的情況下,DALL·E 可讓人透過自然語言使用 3D 渲染引擎的部分功能。它可以獨立控制少量物件的屬性,並在有限程度上控制物件數量,以及物件彼此的排列方式。它亦可以控制渲染場景時採用的位置和角度,並可按照精確的角度和照明 條件生成已知物件。
與輸入必須明確無誤且詳盡完整的 3D 渲染引擎不同,當說明文字暗示圖像必須包含某個未明確寫出的細節時,DALL·E 往往能「自行補足空白」。
應用上述能力
接下來,我們探討如何將上述能力應用於時裝和室內 設計。
語言的組合特性讓我們能把不同概念組合起來,描述真實和虛構的事物。我們發現,DALL·E 也能結合不同想法來合成物件,其中有些物件在現實世界中不太可能存在。我們透過兩個例子探討這種能力:把不同概念的特質轉移到動物身上,以及從互不相關的概念汲取靈感來設計產品。
動物插圖
上一節中,我們探討了 DALL·E 生成現實物件圖像時結合互不相關概念的能力。此處我們從藝術角度探討這種能力,聚焦三類插圖:動物和物件的擬人化版本、動物嵌合體,以及 表情符號。
零樣本視覺推理
只要在提示中提供描述和一個要求生成答案的提示,GPT‑3 無須額外訓練,就能按指示執行多種任務。例如,提示內容為「將句子『一個人在公園遛狗』翻譯成法文:」時,GPT‑3 會回答「un homme qui promène son chien dans le parc」。這種能力稱為 零樣本推理。 我們發現,DALL·E 將這種能力延伸至視覺領域;只要提示方式恰當,它便能執行多種圖像轉圖像翻譯任務。
我們原先沒有預料到會出現這種能力,也沒有修改神經網絡或訓練流程來促使它出現。受這些結果啟發,我們透過 Raven’s 漸進矩陣測試 DALL·E 的類比推理能力;這是一項視覺智商測驗,曾在 20th 世紀廣泛使用。
地理知識
我們發現,DALL·E 已學會地理事實、地標和街區等資訊。它對這些概念的了解,在某些方面出奇地精確,在另一些方面則有缺漏。
時間知識
除了探究 DALL·E 對空間上有所變化的概念的了解,我們也探究它對時間上有所變化的概念的了解。
方法概述與先前研究
DALL·E 是一個簡單的僅解碼器 Transformer,將文字和圖像作為包含 1280 個詞元的單一資料串流一併接收——其中 256 個屬於文字,1024 個屬於圖像——並以自迴歸方式為所有詞元建模。它的 64 層自注意力層各自使用注意力遮罩,讓每個圖像詞元都能關注所有文字詞元。DALL·E 對文字詞元使用標準因果遮罩,對圖像詞元則使用稀疏注意力;視乎層數而定,注意力模式可為列、欄或卷積式。我們在 論文(在新視窗開啟)中提供更多架構和訓練流程的詳情。
自 Reed et. al 的開創性研究以來,1 文字轉圖像合成一直是活躍的研究領域;他們的方法採用以文字嵌入為條件的 GAN。這些嵌入由使用對比損失預先訓練的編碼器產生,與 CLIP 的做法相近。StackGAN3 和 StackGAN++4 使用多尺度 GAN 提高圖像解像度和視覺逼真度。AttnGAN5 在文字和圖像特徵之間加入注意力機制,並提出對比式文字–圖像特徵匹配損失,作為輔助目標。這與我們離線使用 CLIP 重新排序的做法值得比較。其他研究2, 6, 7在訓練期間加入額外監督來源,以提升圖像品質。最後,Nguyen et. al8 和 Cho et. al9 探討使用預訓練多模態判別模型的取樣式圖像生成策略。
與 VQVAE-2(在新視窗開啟)中採用的拒絕取樣類似,我們使用 CLIP在所有互動式視覺示例中,從每則說明文字的 512 個樣本中重新排序,選出排名最高的 32 個。這個流程也可視為一種語言引導的搜尋16,而且能大幅影響樣本品質。
註腳
- A
詞元是離散詞彙表中的任何符號;對人類而言,每個英文字母都是 26-letter 字母表中的一個詞元。DALL·E 的詞彙表包含代表文字和圖像概念的詞元。具體而言,每段圖像說明最多以 256 個 BPE 編碼詞元表示,詞彙表大小為 16384;而圖像則以 1024 個詞元表示,詞彙表大小為 8192。
訓練期間,圖像會預處理至 256x256 解像度。與 VQVAE 類似, 每張圖像會使用離散 VAE 壓縮成 32x32 的離散潛在碼網格 ;該 VAE 是我們使用連續鬆弛法預先訓練的。 我們發現,使用鬆弛法訓練可免去明確碼本、EMA 損失或死碼復活等技巧的需要,而且能擴展至大型詞彙表。
- B
- 17
這項任務稱為變數綁定,文獻中已有大量研究探討。
參考資料
- 1
Reed, S., Akata, Z., Yan, X., Logeswaran, L., Schiele, B., Lee, H. (2016). “生成對抗式文字轉圖像合成(在新視窗開啟)”。收錄於 ICML 2016。
- 2
Reed, S., Akata, Z., Mohan, S., Tenka, S., Schiele, B., Lee, H. (2016). “學習畫甚麼,以及在哪裏畫(在新視窗開啟)”。收錄於 NIPS 2016。
- 3
Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang X., Metaxas, D. (2016). “StackGAN:以堆疊式生成對抗網絡合成寫實相片圖像(在新視窗開啟)”。收錄於 ICCY 2017。
- 4
Zhang, H., Xu, T., Li, H., Zhang, S., Wang, X., Huang, X., Metaxas, D. (2017). “StackGAN++:以堆疊式生成對抗網絡合成寫實圖像(在新視窗開啟)”。收錄於 IEEE TPAMI 2018。
- 5
Xu, T., Zhang, P., Huang, Q., Zhang, H., Gan, Z., Huang, X., He, X. (2017). “AttnGAN:運用注意力生成對抗網絡進行細緻的文字轉圖像生成(在新視窗開啟)。
- 6
Li, W., Zhang, P., Zhang, L., Huang, Q., He, X., Lyu, S., Gao, J. (2019). “透過對抗式訓練進行物件導向的文字轉圖像合成(在新視窗開啟)”。收錄於 CVPR 2019。
- 7
- 8
- 9
Cho, J., Lu, J., Schwen, D., Hajishirzi, H., Kembhavi, A. (2020). “X-LXMERT:以多模態 Transformer 繪畫、撰寫說明文字及回答問題(在新視窗開啟)”。EMNLP 2020。
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
主要作者
Aditya Ramesh, Mikhail Pavlov, Gabriel Goh, Scott Gray
協作作者
Mark Chen, Rewon Child, Vedant Misra, Pamela Mishkin, Gretchen Krueger, Sandhini Agarwal, Ilya Sutskever
來源:OpenAI News · openai.com