跳到正文
OpenAI News·· 2022-01-27精選AI 評分78

OpenAI 透過對齊研究訓練 InstructGPT,使語言模型遵循指令

Aligning language models to follow instructions

AI 導讀

OpenAI 表示,透過對齊研究訓練的 InstructGPT 比 GPT-3 更能遵循用户意圖,同時回答更真實、毒性更低。這些由人類參與訓練的模型已部署為 OpenAI API 的預設語言模型。

推薦理由

材料交代了 InstructGPT 相較 GPT-3 的改進方向、人類參與訓練方式及 API 預設部署,呈現對齊研究如何落到實際服務。

正文 · 繁體中文

註腳

  1. A

    我們只會使用透過 Playground 提交給較早版本 InstructGPT 模型的提示詞;該版本於 January 2021 部署。我們的人工標註員會在將所有提示詞加入訓練集之前,移除其中可識別個人身份的資料。

  2. B

    在 API 部署的 InstructGPT 模型,是使用相同的人類回饋資料訓練的更新版本。它們採用相近但略有不同的訓練方法,我們會在即將發表的論文中說明。

  3. C

    我們亦會在 API 輸出分佈中衡量其他數項可能有害輸出的維度:輸出是否包含色情或暴力內容、是否貶損受保護群體,或是否鼓勵虐待行為。我們發現,在這些指標上,InstructGPT 相對 GPT-3 沒有顯著改善;兩種模型的發生率同樣偏低。

  4. D

    我們發現,這種做法比單純提高 KL 係數更有效。

  5. E

    這些標註員與我們的訓練標註員一樣,來自 Scale AI 和 Upwork,但他們不會接受篩選測試。

參考文獻

  1. 1

    Christiano, P., Leike, J., Brown, T.B., Martic, M., Legg, S. 及 Amodei, D., 2017. 根據人類偏好進行深度強化學習。arXiv 預印本 arXiv:1706.03741。

  2. 2

    Stiennon, N., Ouyang, L., Wu, J., Ziegler, D.M., Lowe, R., Voss, C., Radford, A., Amodei, D. 及 Christiano, P., 2020.

  3. 3

    Wu, J., Ouyang, L., Ziegler, D.M., Stiennon, N., Lowe, R., Leike, J. 及 Christiano, P., 2021. 以人類回饋遞迴式地總結書籍。arXiv 預印本 arXiv:2109.10862。

  4. 4

    Wei, J., Bosma, M., Zhao, V.Y., Guu, K., Yu, A.W., Lester, B., Du, N., Dai, A.M. 及 Le, Q.V., 2021. 經微調的語言模型是零樣本學習者。arXiv 預印本 arXiv:2109.01652。

  5. 5

    Sanh, V., Webson, A., Raffel, C., Bach, S.H., Sutawika, L., Alyafeai, Z., Chaffin, A., Stiegler, A., Scao, T.L., Raja, A. 及 Dey, M., 2021. 提示式多任務訓練可實現零樣本任務泛化。arXiv 預印本 arXiv:2110.08207。

  6. 6

    Bender, E.M., Gebru, T., McMillan-Major, A. 及 Shmitchell, S., 2021, March. 隨機鸚鵡的危險:語言模型會否太龐大?🦜。載於 2021 ACM 公平性、問責與透明度會議論文集(頁 610-623)。

  7. 7

    Bommasani, R., Hudson, D.A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M.S., Bohg, J., Bosselut, A., Brunskill, E. 及 Brynjolfsson, E., 2021. 基礎模型的機遇與風險。arXiv 預印本 arXiv:2108.07258。

  8. 8

    Kenton, Z., Everitt, T., Weidinger, L., Gabriel, I., Mikulik, V. 及 Irving, G., 2021. 語言代理的對齊。arXiv 預印本 arXiv:2103.14659。

  9. 9

    Weidinger, L., Mellor, J., Rauh, M., Griffin, C., Uesato, J., Huang, P.S., Cheng, M., Glaese, M., Balle, B., Kasirzadeh, A. 及 Kenton, Z., 2021. 語言模型造成傷害的倫理與社會風險。arXiv 預印本 arXiv:2112.04359。

  10. 10

    Tamkin, A., Brundage, M., Clark, J. 及 Ganguli, D., 2021. 了解大型語言模型的能力、限制及社會影響。arXiv 預印本 arXiv:2102.02503。

  11. 11

    Solaiman, I. 及 Dennison, C., 2021. 運用價值導向資料集使語言模型適應社會的流程(PALMS)。arXiv 預印本 arXiv:2106.10328。

  12. 12

    Ngo, H., Raterink, C., Araújo, J.G., Zhang, I., Chen, C., Morisot, A. 及 Frosst, N., 2021. 以條件似然過濾降低語言模型的危害。arXiv 預印本 arXiv:2108.07790。

  13. 13

    Xu, J., Ju, D., Li, M., Boureau, Y.L., Weston, J. 及 Dinan, E., 2020. 開放領域聊天機械人的安全方案。arXiv 預印本 arXiv:2010.07079。

  14. 14

    Keskar, N.S., McCann, B., Varshney, L.R., Xiong, C. 及 Socher, R., 2019. Ctrl:一種用於可控生成的條件式 Transformer 語言模型。arXiv 預印本 arXiv:1909.05858。

  15. 15

    Krause, B., Gotmare, A.D., McCann, B., Keskar, N.S., Joty, S., Socher, R. 及 Rajani, N.F., 2020. Gedi:由生成式判別器引導的序列生成。arXiv 預印本 arXiv:2009.06367。

  16. 16

    Dathathri, S., Madotto, A., Lan, J., Hung, J., Frank, E., Molino, P., Yosinski, J. 及 Liu, R., 2019. 即插即用語言模型:一種可控文字生成的簡單方法。arXiv 預印本 arXiv:1912.02164。

  17. 17

    Lin, S., Hilton, J. 及 Evans, O., 2021. TruthfulQA:衡量模型如何模仿人類的虛假說法。arXiv 預印本 arXiv:2109.07958。

  18. 18

    Gehman, S., Gururangan, S., Sap, M., Choi, Y. 及 Smith, N.A., 2020. RealToxicityPrompts:評估語言模型中神經網絡的毒性退化。arXiv 預印本 arXiv:2009.11462。

  19. 19

    Rudinger, R., Naradowsky, J., Leonard, B. 及 Van Durme, B., 2018. 共指消解中的性別偏見。arXiv 預印本 arXiv:1804.09301。

  20. 20

    Nangia, N., Vania, C., Bhalerao, R. 及 Bowman, S.R., 2020. CrowS-pairs:用於衡量遮罩語言模型中社會偏見的挑戰資料集。arXiv 預印本 arXiv:2010.00133。

作者

Ryan Lowe, Jan Leike

致謝

我們要感謝本論文的共同作者:Long Ouyang、Jeff Wu、Roger Jiang、Diogo Almeida、Carroll Wainwright、Pamela Mishkin、Chong Zhang、Sandhini Agarwal、Katarina Slama、Alex Ray、John Schulman、Jacob Hilton、Fraser Kelton、Luke Miller、Maddie Simens、Amanda Askell、Peter Welinder 及 Paul Christiano,以及所有曾就論文和網誌文章提供意見的人士。我們也要感謝傳訊團隊給予的指導和協助,包括 Steve Dowling、Hannah Wong、Elie Georges、Alper Ercetin、Jared Salzano、Allan Diego 及 Justin Jay Wang。最後,我們要感謝各位標註員;沒有他們,這個項目便不可能 實現。

來源:OpenAI News · openai.com