跳到正文
OpenAI News·· 2021-01-05精選AI 評分74

OpenAI 推出 CLIP,以自然語言監督學習視覺概念

CLIP: Connecting text and images

AI 導讀

OpenAI 推出神經網絡 CLIP,讓模型透過自然語言監督高效學習視覺概念。只需提供待識別的視覺類別名稱,CLIP 即可套用於任何視覺分類基準,其零樣本能力類似 GPT-2 和 GPT-3。

推薦理由

CLIP 將自然語言監督與視覺分類連接,並以類別名稱作為套用基準的入口,呈現其零樣本使用方式。

正文 · 繁體中文

註腳

  1. 29

    2015 年,Microsoft 的一組研究人員首次訓練出一個模型,該模型在 ImageNet 上的 top-5 準確率超越了已報告的人類 top-5 準確率。

  2. B

    儘管 CLIP 的零樣本 OCR 表現好壞參半,但其語義 OCR 表徵相當實用。在以圖像形式呈現的 SST-2 NLP 資料集上,CLIP 表徵上的線性分類器經評估後,表現與能直接存取文字的 CBoW 模型相當。CLIP 在偵測仇恨迷因方面也具競爭力,且無需真值文字。

  3. 40

    FairFace 是一個人臉圖像資料集,旨在平衡年齡、性別和種族,以減少以往人臉資料集常見的不對稱問題。該資料集將性別分為 2 組:女性和男性;種族分為 7 組:白人、黑人、印度人、東亞人、東南亞人、中東人和拉丁裔。種族和性別分類本身存在固有問題,例如 Bowker 和 Star (2000) 以及 Keyes (2018) 曾指出這一點。雖然 FairFace 資料集降低了白人面孔的比例,但仍未能代表若干大型人口群體,實際上抹去了這些類別。我們在多項實驗中使用 FairFace 資料集所定義的 2 個性別類別和 7 個種族類別,並非為了強化或認可使用這類過度簡化的類別,而是為了能夠與先前研究作比較。

參考資料

  1. 1
  2. 2

    Geirhos, R., Rubisch, P., Michaelis, C., Bethge, M., Wichmann, F. A., & Brendel, W. (2018). “以 ImageNet 訓練的 CNNs 偏向紋理;增加形狀偏好可提升準確率和穩健性。⁠(在新視窗中開啟)” 載於 ICLR 2019。

  3. 3

    Alcorn, M. A., Li, Q., Gong, Z., Wang, C., Mai, L., Ku, W. S., & Nguyen, A. (2019). “擺出姿勢(以姿勢出擊):神經網絡很容易被熟悉物件的奇怪姿勢欺騙。⁠(在新視窗中開啟)” 載於 CVPR 2019。

  4. 4

    Barbu, A., Mayo, D., Alverio, J., Luo, W., Wang, C., Gutfreund, D., ... & Katz, B. (2019). “Objectnet:用於突破物件辨識模型極限的大規模偏差控制資料集。⁠(在新視窗中開啟)” 載於 NeurIPS 2019。

  5. 5

    Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). “語言模型是無監督多任務學習者。⁠(在新視窗中開啟)” 技術報告, OpenAI。

  6. 6

    Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Agarwal, S. (2020). “語言模型是少樣本學習者。⁠(在新視窗中開啟)” 載於 NeurIPS 2020。

  7. 7
  8. 8
  9. 9
  10. 10
  11. 11
  12. 12

    Frome, A., Corrado, G. S., Shlens, J., Bengio, S., Dean, J., Ranzato, M. A., & Mikolov, T. (2013). “Devise:深度視覺語義嵌入模型。⁠(在新視窗中開啟)” 載於 NeurIPS 2013。

  13. 13
  14. 14
  15. 15
  16. 16

    Grill, J. B., Strub, F., Altché, F., Tallec, C., Richemond, P. H., Buchatskaya, E., ... & Piot, B. (2020). “自舉你自己的潛在表示:自我監督學習的新方法。⁠(在新視窗中開啟)” 載於 NeurIPS 2020。

  17. 17
  18. 18

    Hjelm, R. D., Fedorov, A., Lavoie-Marchildon, S., Grewal, K., Bachman, P., Trischler, A., & Bengio, Y. (2018). “透過互資訊估計與最大化來學習深度表徵。⁠(在新視窗中開啟)” 載於 ICLR 2019。

  19. 19
  20. 20
  21. 21
  22. 22
  23. 23
  24. 24
  25. 25

    Salimans, T., Goodfellow, I., Zaremba, W., Cheung, V., Radford, A., & Chen, X. (2016). “訓練 gans 的改良技術。⁠(在新視窗中開啟)” 載於 NeurIPS 2016。

  26. 26
  27. 27

    Chen, M., Radford, A., Child, R., Wu, J., Jun, H., Luan, D., & Sutskever, I. (2020, November). “從像素進行生成式預訓練。⁠(在新視窗中開啟)” 載於 ICML 2020。

  28. 28
  29. 29

    Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., ... & Berg, A. C. (2015). “Imagenet 大規模視覺辨識挑戰。⁠(在新視窗中開啟)” 載於 IJCV 2015。

  30. 30

    Taori, R., Dave, A., Shankar, V., Carlini, N., Recht, B., & Schmidt, L. (2020). “衡量圖像分類中對自然分佈偏移的穩健性。⁠(在新視窗中開啟)” 載於 NeurIPS 2020。

  31. 31
  32. 32

    Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). “注意力就是你所需的一切。⁠(在新視窗中開啟)” 載於 NeurIPS 2017。

  33. 33
  34. 34
  35. 35
  36. 36

    Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., ... & Uszkoreit, J. (2020). “一幅圖像抵得上 16x16 個詞:適用於大規模圖像辨識的 Transformers。⁠(在新視窗中開啟)” arXiv 預印本。

  37. 37

    Mahajan, D., Girshick, R., Ramanathan, V., He, K., Paluri, M., Li, Y., ... & van der Maaten, L. (2018). “探索弱監督預訓練的極限。⁠(在新視窗中開啟)” 載於 ECCV 2018。

  38. 38

    Kolesnikov, A., Beyer, L., Zhai, X., Puigcerver, J., Yung, J., Gelly, S., & Houlsby, N. (2019). “Big Transfer (BiT):通用視覺表徵學習。⁠(在新視窗中開啟)” arXiv 預印本。

  39. 39
  40. 40
  41. 41

作者

Alec Radford, Ilya Sutskever, Jong Wook Kim, Gretchen Krueger, Sandhini Agarwal

鳴謝

我們謹此感謝參與建立 CLIP 訓練資料的數百萬人。我們亦感謝所有合著者對本項目的貢獻。最後,我們想感謝 Jeff Clune、Miles Brundage、Ryan Lowe、Jakub Pachocki 和 Vedant Misra 就這篇網誌的草稿提供意見,並感謝 Matthew Knight 審閱程式碼 發佈。

設計及封面美術

Justin Jay Wang

來源:OpenAI News · openai.com