OpenAI 推出 CLIP,以自然語言監督學習視覺概念
CLIP: Connecting text and images
OpenAI 推出神經網絡 CLIP,讓模型透過自然語言監督高效學習視覺概念。只需提供待識別的視覺類別名稱,CLIP 即可套用於任何視覺分類基準,其零樣本能力類似 GPT-2 和 GPT-3。
CLIP 將自然語言監督與視覺分類連接,並以類別名稱作為套用基準的入口,呈現其零樣本使用方式。
註腳
- 29
2015 年,Microsoft 的一組研究人員首次訓練出一個模型,該模型在 ImageNet 上的 top-5 準確率超越了已報告的人類 top-5 準確率。
- B
儘管 CLIP 的零樣本 OCR 表現好壞參半,但其語義 OCR 表徵相當實用。在以圖像形式呈現的 SST-2 NLP 資料集上,CLIP 表徵上的線性分類器經評估後,表現與能直接存取文字的 CBoW 模型相當。CLIP 在偵測仇恨迷因方面也具競爭力,且無需真值文字。
- 40
FairFace 是一個人臉圖像資料集,旨在平衡年齡、性別和種族,以減少以往人臉資料集常見的不對稱問題。該資料集將性別分為 2 組:女性和男性;種族分為 7 組:白人、黑人、印度人、東亞人、東南亞人、中東人和拉丁裔。種族和性別分類本身存在固有問題,例如 Bowker 和 Star (2000) 以及 Keyes (2018) 曾指出這一點。雖然 FairFace 資料集降低了白人面孔的比例,但仍未能代表若干大型人口群體,實際上抹去了這些類別。我們在多項實驗中使用 FairFace 資料集所定義的 2 個性別類別和 7 個種族類別,並非為了強化或認可使用這類過度簡化的類別,而是為了能夠與先前研究作比較。
參考資料
- 1
- 2
Geirhos, R., Rubisch, P., Michaelis, C., Bethge, M., Wichmann, F. A., & Brendel, W. (2018). “以 ImageNet 訓練的 CNNs 偏向紋理;增加形狀偏好可提升準確率和穩健性。(在新視窗中開啟)” 載於 ICLR 2019。
- 3
Alcorn, M. A., Li, Q., Gong, Z., Wang, C., Mai, L., Ku, W. S., & Nguyen, A. (2019). “擺出姿勢(以姿勢出擊):神經網絡很容易被熟悉物件的奇怪姿勢欺騙。(在新視窗中開啟)” 載於 CVPR 2019。
- 4
Barbu, A., Mayo, D., Alverio, J., Luo, W., Wang, C., Gutfreund, D., ... & Katz, B. (2019). “Objectnet:用於突破物件辨識模型極限的大規模偏差控制資料集。(在新視窗中開啟)” 載於 NeurIPS 2019。
- 5
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). “語言模型是無監督多任務學習者。(在新視窗中開啟)” 技術報告, OpenAI。
- 6
Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Agarwal, S. (2020). “語言模型是少樣本學習者。(在新視窗中開啟)” 載於 NeurIPS 2020。
- 7
- 8
- 9
- 10
- 11
- 12
Frome, A., Corrado, G. S., Shlens, J., Bengio, S., Dean, J., Ranzato, M. A., & Mikolov, T. (2013). “Devise:深度視覺語義嵌入模型。(在新視窗中開啟)” 載於 NeurIPS 2013。
- 13
- 14
- 15
- 16
Grill, J. B., Strub, F., Altché, F., Tallec, C., Richemond, P. H., Buchatskaya, E., ... & Piot, B. (2020). “自舉你自己的潛在表示:自我監督學習的新方法。(在新視窗中開啟)” 載於 NeurIPS 2020。
- 17
- 18
Hjelm, R. D., Fedorov, A., Lavoie-Marchildon, S., Grewal, K., Bachman, P., Trischler, A., & Bengio, Y. (2018). “透過互資訊估計與最大化來學習深度表徵。(在新視窗中開啟)” 載於 ICLR 2019。
- 19
- 20
- 21
- 22
- 23
- 24
- 25
Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., & Chen, X. (2016). “訓練 gans 的改良技術。(在新視窗中開啟)” 載於 NeurIPS 2016。
- 26
- 27
Chen, M., Radford, A., Child, R., Wu, J., Jun, H., Luan, D., & Sutskever, I. (2020, November). “從像素進行生成式預訓練。(在新視窗中開啟)” 載於 ICML 2020。
- 28
- 29
Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., ... & Berg, A. C. (2015). “Imagenet 大規模視覺辨識挑戰。(在新視窗中開啟)” 載於 IJCV 2015。
- 30
Taori, R., Dave, A., Shankar, V., Carlini, N., Recht, B., & Schmidt, L. (2020). “衡量圖像分類中對自然分佈偏移的穩健性。(在新視窗中開啟)” 載於 NeurIPS 2020。
- 31
- 32
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). “注意力就是你所需的一切。(在新視窗中開啟)” 載於 NeurIPS 2017。
- 33
- 34
- 35
- 36
Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., ... & Uszkoreit, J. (2020). “一幅圖像抵得上 16x16 個詞:適用於大規模圖像辨識的 Transformers。(在新視窗中開啟)” arXiv 預印本。
- 37
Mahajan, D., Girshick, R., Ramanathan, V., He, K., Paluri, M., Li, Y., ... & van der Maaten, L. (2018). “探索弱監督預訓練的極限。(在新視窗中開啟)” 載於 ECCV 2018。
- 38
Kolesnikov, A., Beyer, L., Zhai, X., Puigcerver, J., Yung, J., Gelly, S., & Houlsby, N. (2019). “Big Transfer (BiT):通用視覺表徵學習。(在新視窗中開啟)” arXiv 預印本。
- 39
- 40
- 41
作者
Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal
鳴謝
我們謹此感謝參與建立 CLIP 訓練資料的數百萬人。我們亦感謝所有合著者對本項目的貢獻。最後,我們想感謝 Jeff Clune、Miles Brundage、Ryan Lowe、Jakub Pachocki 和 Vedant Misra 就這篇網誌的草稿提供意見,並感謝 Matthew Knight 審閱程式碼 發佈。
設計及封面美術
Justin Jay Wang
來源:OpenAI News · openai.com