OpenAI 以人類反饋訓練更擅長摘要的語言模型
Learning to summarize with human feedback
OpenAI 將人類反饋強化學習用於訓練語言模型,以提升模型的摘要能力。
這項研究把人類反饋納入摘要模型訓練,呈現以強化學習提升語言模型摘要能力的一條具體研究路徑。
註腳
- 1
訓練時,我們使用 Reddit TL;DR 資料集 而非較受歡迎的 CNN/DM 資料集,因為在 CNN/DM 上,簡單的複製基準模型表現比人工撰寫的參考摘要更好;TL;DR 則不是這樣(見我們論文的附錄 D)。我們重新進行網絡爬取,以擴大 TL;DR 資料集,並要求摘要長度介乎 24 至 48 個 tokens,也進行了其他清理和篩選
- B
我們聘請人工標註員評估摘要質素,並實施質素控制,確保標註員的判斷與我們一致。我們會在下文介紹人工數據收集程序。
- C
有趣的是,我們發現人工評估者較喜歡 Lead-3 基準(取文章開首的 3 句),而非資料集的參考摘要;我們亦自行確認了這一點。
- D
我們所有樣本都以溫度 0 生成;我們發現人類最喜歡這個設定。
- E
雖然我們以人工撰寫的 TL;DR 作為主要比較基準,但它們未必總能代表人類的最佳表現;有時它們旨在逗趣,或只概述帖文的一部分,而且語法和文風差異甚大。
- F
我們透過訓練邏輯迴歸模型來控制摘要長度的影響;模型只根據策略 ID 和摘要長度的對數比率,預測較受偏好的摘要。然後,我們報告各策略 ID 的迴歸係數;這些係數對應於相對參考摘要的長度比率為 1。
- G
我們採用這個做法,是因為很難直接比較以 TL;DR 訓練的模型和以 CNN/DM 訓練的模型;CNN/DM 的摘要長得多,而且以項目符號列點撰寫。
- 21
就 CNN/DM 上的 ROUGE 成績而言,我們的 6.7B 監督式模型略遜於 T5 ,但略勝 2019 年年中最先進的模型。
- I
我們的主要模型以約 65K 組比較資料訓練,但只用 8K 組比較資料也能取得良好結果。
- J
具體而言,我們使用 Upwork、Scale 和 Lionbridge。我們聘用的承包人來自不同年齡層,性別和教育背景亦各異,而且大多是美國人或菲律賓人(我們論文的附錄 C 載有人口統計資料)。
- K
聘用承包人的條件是:(1)願意執行這項工作;(2)達到速度及與研究人員標註結果的一致程度之最低門檻。我們向所有承包人支付至少 $15/hr。
- L
與 TL;DR 參考摘要相比,這項結果相當出色;參考摘要取得完美的 整體 評分的比例為 23%,但這也顯示仍有改善空間。
參考文獻
- 1
- 2
Hermann, K. M., Kocisky, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M., & Blunsom, P. (2015). ” 教導機器閱讀及理解(在新視窗中開啟).” 收錄於 Advances in neural information processing systems 2015.
- 3
- 4
- 5
- 6
- 7
Ziegler, D. M., Stiennon, N., Wu, J., Brown, T. B., Radford, A., Amodei, D., Christiano, P., & Irving, G. (2019). “根據人類偏好微調語言模型(在新視窗中開啟).” arXiv 預印本.
- 8
Böhm, F., Gao, Y., Meyer, C. M., Shapira, O., Dagan, I., & Gurevych, I. (2019). “更好的獎勵帶來更好的摘要:無需參考摘要的摘要學習(在新視窗中開啟).” arXiv 預印本.
- 9
Jaques, N., Ghandeharioun, A., Shen, J. H., Ferguson, C., Lapedriza, A., Jones, N., Gu, S., & Picard, R. (2019). “以嚴重偏離策略的批次深度強化學習來學習對話中的隱含人類偏好(在新視窗中開啟).” arXiv 預印本.
- 10
Yi, S., Goel, R., Khatri, C., Cervone, A., Chung, T., Hedayatnia, B., ... & Hakkani-Tur, D. (2019). “利用自動對話評估器生成連貫且引人入勝的口語對話回應(在新視窗中開啟).” arXiv 預印本.
- 11
- 12
- 13
- 14
Bahdanau, D., Brakel, P., Xu, K., Goyal, A., Lowe, R., Pineau, J., ... & Bengio, Y. (2016). “用於序列預測的行動者-評論家演算法(在新視窗中開啟).” arXiv 預印本.
- 15
- 16
Cho, W., & Zhang, P., & Zhang, Y., & Li, X., & Galley, M., & Brockett, C., & Wang, M., & Gao, J. (2018). “邁向連貫且銜接緊密的長篇文本生成.(在新視窗中開啟)” arXiv 預印本.
- 17
Perez, E., & Karamcheti, S., & Fergus, R., & Weston, J., & Kiela, D., & Cho, K. (2019). ” 透過學習說服 Q&A 模型來尋找可泛化的證據.(在新視窗中開啟)” arXiv 預印本.
- 18
Christiano, P. F., Leike, J., Brown, T., Martic, M., Legg, S., & Amodei, D. (2017). “從人類偏好進行深度強化學習(在新視窗中開啟).” 收錄於 Advances in Neural Information Processing Systems 2017.
- 19
Ibarz, B., Leike, J., Pohlen, T., Irving, G., Legg, S., & Amodei, D. (2018). “在 Atari 中根據人類偏好和示範進行獎勵學習(在新視窗中開啟).” 收錄於 Advances in Neural Information Processing Systems 2018.
- 20
Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Agarwal, S. (2020). ” 語言模型是少樣本學習者(在新視窗中開啟).” arXiv 預印本.
- 21
Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2019). ” 以統一的文字到文字 Transformer 探索遷移學習的極限(在新視窗中開啟).” arXiv 預印本.
- 22
- 23
作者
Nisan Stiennon, Paul Christiano, Daniel Ziegler, Ryan Lowe, Jeffrey Wu, Chelsea Voss, Long Ouyang
鳴謝
我們想感謝以下人士,他們曾就這篇網誌文章的不同版本提供意見:Douwe Kiela、Zach Lipton、Alex Irpan、Jack Clark、Jacob Hilton、Raul Puri、Miles Brundage、Greg Brockman、Ilya Sutskever、Kelly Sims、Wojciech Kryscinski 及 Dzimitry Bahdanau。我們亦想感謝 Justin Jay Wang 主導網誌文章的設計、Ashley Pilipiszyn 負責編輯、Alec Radford 和 Dario Amodei 為項目提供指導、Shan Carter 協助設計主圖、Gretchen Krueger 共同撰寫模型卡、Beth Barnes 協助聘請標註員並給予鼓勵,以及 OpenAI 的許多其他同事;他們訓練了我們的大型預訓練模型、透過改善和維護運算基礎設施支援我們,並編寫高速 GPU 核心函數。最後,我們想感謝所有承包人提供數據;這些數據對訓練本文中的模型至關重要。
來源:OpenAI News · openai.com