跳到正文
OpenAI News·· 2020-09-04精選AI 評分61

OpenAI 以人類反饋訓練更擅長摘要的語言模型

Learning to summarize with human feedback

AI 導讀

OpenAI 將人類反饋強化學習用於訓練語言模型,以提升模型的摘要能力。

推薦理由

這項研究把人類反饋納入摘要模型訓練,呈現以強化學習提升語言模型摘要能力的一條具體研究路徑。

正文 · 繁體中文

註腳

  1. 1

    訓練時,我們使用 Reddit TL;DR 資料集 而非較受歡迎的 CNN/DM 資料集,因為在 CNN/DM 上,簡單的複製基準模型表現比人工撰寫的參考摘要更好;TL;DR 則不是這樣(見我們論文的附錄 D)。我們重新進行網絡爬取,以擴大 TL;DR 資料集,並要求摘要長度介乎 24 至 48 個 tokens,也進行了其他清理和篩選

  2. B

    我們聘請人工標註員評估摘要質素,並實施質素控制,確保標註員的判斷與我們一致。我們會在下文介紹人工數據收集程序。

  3. C

    有趣的是,我們發現人工評估者較喜歡 Lead-3 基準(取文章開首的 3 句),而非資料集的參考摘要;我們亦自行確認了這一點。

  4. D

    我們所有樣本都以溫度 0 生成;我們發現人類最喜歡這個設定。

  5. E

    雖然我們以人工撰寫的 TL;DR 作為主要比較基準,但它們未必總能代表人類的最佳表現;有時它們旨在逗趣,或只概述帖文的一部分,而且語法和文風差異甚大。

  6. F

    我們透過訓練邏輯迴歸模型來控制摘要長度的影響;模型只根據策略 ID 和摘要長度的對數比率,預測較受偏好的摘要。然後,我們報告各策略 ID 的迴歸係數;這些係數對應於相對參考摘要的長度比率為 1。

  7. G

    我們採用這個做法,是因為很難直接比較以 TL;DR 訓練的模型和以 CNN/DM 訓練的模型;CNN/DM 的摘要長得多,而且以項目符號列點撰寫。

  8. 21

    就 CNN/DM 上的 ROUGE 成績而言,我們的 6.7B 監督式模型略遜於 T5 ,但略勝 2019 年年中最先進的模型。

  9. I

    我們的主要模型以約 65K 組比較資料訓練,但只用 8K 組比較資料也能取得良好結果。

  10. J

    具體而言,我們使用 Upwork、Scale 和 Lionbridge。我們聘用的承包人來自不同年齡層,性別和教育背景亦各異,而且大多是美國人或菲律賓人(我們論文的附錄 C 載有人口統計資料)。

  11. K

    聘用承包人的條件是:(1)願意執行這項工作;(2)達到速度及與研究人員標註結果的一致程度之最低門檻。我們向所有承包人支付至少 $15/hr。

  12. L

    與 TL;DR 參考摘要相比,這項結果相當出色;參考摘要取得完美的 整體 評分的比例為 23%,但這也顯示仍有改善空間。

參考文獻

  1. 1
  2. 2

    Hermann, K. M., Kocisky, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M., & Blunsom, P. (2015). ” 教導機器閱讀及理解⁠(在新視窗中開啟).” 收錄於 Advances in neural information processing systems 2015.

  3. 3
  4. 4
  5. 5
  6. 6
  7. 7

    Ziegler, D. M., Stiennon, N., Wu, J., Brown, T. B., Radford, A., Amodei, D., Christiano, P., & Irving, G. (2019). “根據人類偏好微調語言模型⁠(在新視窗中開啟).” arXiv 預印本.

  8. 8

    Böhm, F., Gao, Y., Meyer, C. M., Shapira, O., Dagan, I., & Gurevych, I. (2019). “更好的獎勵帶來更好的摘要:無需參考摘要的摘要學習⁠(在新視窗中開啟).” arXiv 預印本.

  9. 9

    Jaques, N., Ghandeharioun, A., Shen, J. H., Ferguson, C., Lapedriza, A., Jones, N., Gu, S., & Picard, R. (2019). “以嚴重偏離策略的批次深度強化學習來學習對話中的隱含人類偏好⁠(在新視窗中開啟).” arXiv 預印本.

  10. 10

    Yi, S., Goel, R., Khatri, C., Cervone, A., Chung, T., Hedayatnia, B., ... & Hakkani-Tur, D. (2019). “利用自動對話評估器生成連貫且引人入勝的口語對話回應⁠(在新視窗中開啟).” arXiv 預印本.

  11. 11
  12. 12
  13. 13
  14. 14

    Bahdanau, D., Brakel, P., Xu, K., Goyal, A., Lowe, R., Pineau, J., ... & Bengio, Y. (2016). “用於序列預測的行動者-評論家演算法⁠(在新視窗中開啟).” arXiv 預印本.

  15. 15
  16. 16

    Cho, W., & Zhang, P., & Zhang, Y., & Li, X., & Galley, M., & Brockett, C., & Wang, M., & Gao, J. (2018). “邁向連貫且銜接緊密的長篇文本生成.⁠(在新視窗中開啟)” arXiv 預印本.

  17. 17

    Perez, E., & Karamcheti, S., & Fergus, R., & Weston, J., & Kiela, D., & Cho, K. (2019). ” 透過學習說服 Q&A 模型來尋找可泛化的證據.⁠(在新視窗中開啟)” arXiv 預印本.

  18. 18

    Christiano, P. F., Leike, J., Brown, T., Martic, M., Legg, S., & Amodei, D. (2017). “從人類偏好進行深度強化學習⁠(在新視窗中開啟).” 收錄於 Advances in Neural Information Processing Systems 2017.

  19. 19

    Ibarz, B., Leike, J., Pohlen, T., Irving, G., Legg, S., & Amodei, D. (2018). “在 Atari 中根據人類偏好和示範進行獎勵學習⁠(在新視窗中開啟).” 收錄於 Advances in Neural Information Processing Systems 2018.

  20. 20

    Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Agarwal, S. (2020). ” 語言模型是少樣本學習者⁠(在新視窗中開啟).” arXiv 預印本.

  21. 21

    Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., ... & Liu, P. J. (2019). ” 以統一的文字到文字 Transformer 探索遷移學習的極限⁠(在新視窗中開啟).” arXiv 預印本.

  22. 22
  23. 23

作者

Nisan Stiennon, Paul Christiano, Daniel Ziegler, Ryan Lowe, Jeffrey Wu, Chelsea Voss, Long Ouyang

鳴謝

我們想感謝以下人士,他們曾就這篇網誌文章的不同版本提供意見:Douwe Kiela、Zach Lipton、Alex Irpan、Jack Clark、Jacob Hilton、Raul Puri、Miles Brundage、Greg Brockman、Ilya Sutskever、Kelly Sims、Wojciech Kryscinski 及 Dzimitry Bahdanau。我們亦想感謝 Justin Jay Wang 主導網誌文章的設計、Ashley Pilipiszyn 負責編輯、Alec Radford 和 Dario Amodei 為項目提供指導、Shan Carter 協助設計主圖、Gretchen Krueger 共同撰寫模型卡、Beth Barnes 協助聘請標註員並給予鼓勵,以及 OpenAI 的許多其他同事;他們訓練了我們的大型預訓練模型、透過改善和維護運算基礎設施支援我們,並編寫高速 GPU 核心函數。最後,我們想感謝所有承包人提供數據;這些數據對訓練本文中的模型至關重要。

來源:OpenAI News · openai.com