OpenAI 透過對齊研究訓練 InstructGPT,使語言模型遵循指令
Aligning language models to follow instructions
OpenAI 表示,透過對齊研究訓練的 InstructGPT 比 GPT-3 更能遵循用户意圖,同時回答更真實、毒性更低。這些由人類參與訓練的模型已部署為 OpenAI API 的預設語言模型。
材料交代了 InstructGPT 相較 GPT-3 的改進方向、人類參與訓練方式及 API 預設部署,呈現對齊研究如何落到實際服務。
註腳
- A
我們只會使用透過 Playground 提交給較早版本 InstructGPT 模型的提示詞;該版本於 January 2021 部署。我們的人工標註員會在將所有提示詞加入訓練集之前,移除其中可識別個人身份的資料。
- B
在 API 部署的 InstructGPT 模型,是使用相同的人類回饋資料訓練的更新版本。它們採用相近但略有不同的訓練方法,我們會在即將發表的論文中說明。
- C
我們亦會在 API 輸出分佈中衡量其他數項可能有害輸出的維度:輸出是否包含色情或暴力內容、是否貶損受保護群體,或是否鼓勵虐待行為。我們發現,在這些指標上,InstructGPT 相對 GPT-3 沒有顯著改善;兩種模型的發生率同樣偏低。
- D
我們發現,這種做法比單純提高 KL 係數更有效。
- E
這些標註員與我們的訓練標註員一樣,來自 Scale AI 和 Upwork,但他們不會接受篩選測試。
參考文獻
- 1
Christiano, P., Leike, J., Brown, T.B., Martic, M., Legg, S. 及 Amodei, D., 2017. 根據人類偏好進行深度強化學習。arXiv 預印本 arXiv:1706.03741。
- 2
Stiennon, N., Ouyang, L., Wu, J., Ziegler, D.M., Lowe, R., Voss, C., Radford, A., Amodei, D. 及 Christiano, P., 2020.
- 3
Wu, J., Ouyang, L., Ziegler, D.M., Stiennon, N., Lowe, R., Leike, J. 及 Christiano, P., 2021. 以人類回饋遞迴式地總結書籍。arXiv 預印本 arXiv:2109.10862。
- 4
Wei, J., Bosma, M., Zhao, V.Y., Guu, K., Yu, A.W., Lester, B., Du, N., Dai, A.M. 及 Le, Q.V., 2021. 經微調的語言模型是零樣本學習者。arXiv 預印本 arXiv:2109.01652。
- 5
Sanh, V., Webson, A., Raffel, C., Bach, S.H., Sutawika, L., Alyafeai, Z., Chaffin, A., Stiegler, A., Scao, T.L., Raja, A. 及 Dey, M., 2021. 提示式多任務訓練可實現零樣本任務泛化。arXiv 預印本 arXiv:2110.08207。
- 6
Bender, E.M., Gebru, T., McMillan-Major, A. 及 Shmitchell, S., 2021, March. 隨機鸚鵡的危險:語言模型會否太龐大?🦜。載於 2021 ACM 公平性、問責與透明度會議論文集(頁 610-623)。
- 7
Bommasani, R., Hudson, D.A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M.S., Bohg, J., Bosselut, A., Brunskill, E. 及 Brynjolfsson, E., 2021. 基礎模型的機遇與風險。arXiv 預印本 arXiv:2108.07258。
- 8
Kenton, Z., Everitt, T., Weidinger, L., Gabriel, I., Mikulik, V. 及 Irving, G., 2021. 語言代理的對齊。arXiv 預印本 arXiv:2103.14659。
- 9
Weidinger, L., Mellor, J., Rauh, M., Griffin, C., Uesato, J., Huang, P.S., Cheng, M., Glaese, M., Balle, B., Kasirzadeh, A. 及 Kenton, Z., 2021. 語言模型造成傷害的倫理與社會風險。arXiv 預印本 arXiv:2112.04359。
- 10
Tamkin, A., Brundage, M., Clark, J. 及 Ganguli, D., 2021. 了解大型語言模型的能力、限制及社會影響。arXiv 預印本 arXiv:2102.02503。
- 11
Solaiman, I. 及 Dennison, C., 2021. 運用價值導向資料集使語言模型適應社會的流程(PALMS)。arXiv 預印本 arXiv:2106.10328。
- 12
Ngo, H., Raterink, C., Araújo, J.G., Zhang, I., Chen, C., Morisot, A. 及 Frosst, N., 2021. 以條件似然過濾降低語言模型的危害。arXiv 預印本 arXiv:2108.07790。
- 13
Xu, J., Ju, D., Li, M., Boureau, Y.L., Weston, J. 及 Dinan, E., 2020. 開放領域聊天機械人的安全方案。arXiv 預印本 arXiv:2010.07079。
- 14
Keskar, N.S., McCann, B., Varshney, L.R., Xiong, C. 及 Socher, R., 2019. Ctrl:一種用於可控生成的條件式 Transformer 語言模型。arXiv 預印本 arXiv:1909.05858。
- 15
Krause, B., Gotmare, A.D., McCann, B., Keskar, N.S., Joty, S., Socher, R. 及 Rajani, N.F., 2020. Gedi:由生成式判別器引導的序列生成。arXiv 預印本 arXiv:2009.06367。
- 16
Dathathri, S., Madotto, A., Lan, J., Hung, J., Frank, E., Molino, P., Yosinski, J. 及 Liu, R., 2019. 即插即用語言模型:一種可控文字生成的簡單方法。arXiv 預印本 arXiv:1912.02164。
- 17
Lin, S., Hilton, J. 及 Evans, O., 2021. TruthfulQA:衡量模型如何模仿人類的虛假說法。arXiv 預印本 arXiv:2109.07958。
- 18
Gehman, S., Gururangan, S., Sap, M., Choi, Y. 及 Smith, N.A., 2020. RealToxicityPrompts:評估語言模型中神經網絡的毒性退化。arXiv 預印本 arXiv:2009.11462。
- 19
Rudinger, R., Naradowsky, J., Leonard, B. 及 Van Durme, B., 2018. 共指消解中的性別偏見。arXiv 預印本 arXiv:1804.09301。
- 20
Nangia, N., Vania, C., Bhalerao, R. 及 Bowman, S.R., 2020. CrowS-pairs:用於衡量遮罩語言模型中社會偏見的挑戰資料集。arXiv 預印本 arXiv:2010.00133。
作者
Ryan Lowe, Jan Leike
致謝
我們要感謝本論文的共同作者:Long Ouyang、Jeff Wu、Roger Jiang、Diogo Almeida、Carroll Wainwright、Pamela Mishkin、Chong Zhang、Sandhini Agarwal、Katarina Slama、Alex Ray、John Schulman、Jacob Hilton、Fraser Kelton、Luke Miller、Maddie Simens、Amanda Askell、Peter Welinder 及 Paul Christiano,以及所有曾就論文和網誌文章提供意見的人士。我們也要感謝傳訊團隊給予的指導和協助,包括 Steve Dowling、Hannah Wong、Elie Georges、Alper Ercetin、Jared Salzano、Allan Diego 及 Justin Jay Wang。最後,我們要感謝各位標註員;沒有他們,這個項目便不可能 實現。
來源:OpenAI News · openai.com