跳到正文
OpenAI News·· 2019-09-19精選AI 評分70

OpenAI 以人類偏好微調 GPT-2

Fine-tuning GPT-2 from human preferences

AI 導讀

OpenAI 使用人類回饋微調 774M 參數的 GPT-2,使模型在多項任務上匹配外部人類標註者的偏好。摘要任務需 60k 個人類標註,標註者偏好整句照抄輸入,模型因此學會複製;多種風格的續寫任務則需 5k 標註。OpenAI 指出,標註者的偏好並不總與自身一致,並希望藉由讓安全技術更接近「機器與人交談」的一般任務,提取人類價值資訊。

推薦理由

這項實驗對比摘要與續寫任務的標註需求,並呈現標註者偏好整句照抄輸入時,微調模型也會學會相同行為。

正文 · 繁體中文

OpenAI

我們利用人類回饋,針對多種任務微調了 774M 參數的 GPT‑2 語言模型,成功令模型符合外部人類標註員的偏好,儘管這些偏好並非總是與我們自己的偏好一致。具體而言,在摘要任務中,標註員偏好整句照搬輸入內容(我們只要求他們確保準確性),因此我們的模型學會了複製。摘要需要 60k 個人類標註;較簡單、以不同風格續寫文字的任務,只需 5k 個標註。我們的動機是讓安全技術更接近「機器與人交談」這項一般任務;我們相信這是提取有關人類 價值觀資訊的關鍵。

我們相信,語言是令強化學習在真實世界任務中切實可行並安全的關鍵要素。 先前⁠ 研究⁠(會在新視窗開啟) 關於學習人類偏好模型的研究,集中於簡單的模擬環境(Atari 遊戲或機械人任務),這些環境無法涵蓋語言的複雜性。語言亦是 擴增⁠ 和 辯論⁠等演算法不可或缺的要素,旨在處理偏好背後的推理。

這項工作將人類偏好學習應用於多項自然語言任務:以正面情感或身體描寫續寫文字,所用語料為 BookCorpus⁠(會在新視窗開啟),以及概括來自 TL;DR⁠(會在新視窗開啟) 和 CNN/Daily Mail⁠(會在新視窗開啟) 數據集的內容。這些任務每一項都可以視為文字補全問題:從一段文字 X開始,我們會問接下來應該接續甚麼文字 Y。A

我們從一個預訓練語言模型(GPT‑2 的 774M 參數版本⁠)開始,並透過向 人類標註員⁠(會在新視窗開啟) 詢問四個樣本中哪一個最好,以此微調模型。對風格續寫任務進行微調所需樣本不多:根據人類評估,只需 5,000 個人類樣本便足以取得出色表現。至於摘要,使用 60,000 組比較訓練的模型學會照抄輸入中的完整句子,同時略過無關的前言;這種複製方式容易確保摘要準確,但可能利用了標註員依賴簡單 啟發式規則這一點。

風格化文字續寫

下方展示了原始 774M GPT‑2 模型與我們微調版本的比較樣本。B

根據用來訓練這些模型的同一批人類標註員的評價,在情感和描述性方面,標註員分別有 88% 和 86% 的時間更偏好我們微調後的模型,而非基礎 GPT‑2 模型(零樣本)。

摘要

我們亦對兩項摘要任務採用人類微調:概括 CNN/Daily Mail 數據集中的文章,以及概括 TL;DR 數據集中的 Reddit 片段。

這些任務更困難:我們的主要模型使用 60,000 組四選一比較。我們亦需要 線上 資料收集:隨着策略改變,訓練過程中會持續收集展示給人類的樣本;採用 離線 資料收集策略、只向人類展示基礎 GPT‑2 語言模型的樣本,效果不佳。

根據人類標註員的評估,我們的模型表現非常好,但很可能利用了標註員依賴簡單啟發式規則這一點:他們較偏好複製首三句的 lead-3 基準模型,而非我們的模型。不過,結合監督式微調與人類微調後,我們的模型在 ROUGE 分數方面勝過 lead-3。

下方展示了零樣本和監督式基準模型的樣本,以及各自經 RL 微調後的樣本。

讀者可能已留意到這些樣本有幾點特徵。首先,我們經 RL 微調的模型大多像一部聰明的複製器:它通常會複製文章或 Reddit 片段中的完整句子來概括內容。相比之下,零樣本和監督式微調模型產生的樣本更為新穎:

模型

CNN/Daily Mail

tl;dr

參考摘要

96.7

98.9

零樣本

91.7

96.3

微調後

2.5

29.0

監督式

83.6

96.9

監督式 + 微調後

69.6

94.0

句子新穎度:摘要中未出現在來源 文字中的句子所佔百分比。

經 RL 微調的模型確實會改變複製來源:在 TL;DR 和 CNN/Daily Mail 上,它們分別有 28.3% 和 77.6% 的情況會複製輸入開頭;若輸入以資訊不足的前言開頭(TL;DR 中的定義為「嗨」、「你好」、「喂」、「好」、「好」或「咁」;CNN/Daily Mail 則以首三個詞中出現冒號為準,例如「得獎者:Simon Wood 奪得電視冠軍 [...]」),這些比例會降至 0.2% 和 1.4%。

下方的視覺化圖表展示摘要模型複製來源位置的差異,並以隨機選取的語境中、語境與摘要之間由二元詞組構成的最長共同子序列作說明。

其次,雖然以 n 元詞組或句子衡量,GPT‑2 零樣本模型和經監督式微調的 GPT‑2 版本所生成的摘要更具新穎性,但就內容而言,它們也更為新穎。換言之,它們並不 屬實:

模型

CNN/Daily Mail

tl;dr

零樣本

6/30

6/30

微調後

29/30

26/30

監督式

19/30

8/30

監督式 + 微調後

20/30

11/30

摘要準確度:由作者根據每個數據集的 30 篇文章,判斷生成摘要準確的頻率。

這些結果至少有兩種解讀方式。第一種是,複製是確保準確最容易的方法。標註員獲指示要懲罰不準確,但不要懲罰複製。零樣本模型有時會複製,而複製時內容是準確的,因此複製行為獲得了強化。結果是模型大多只會複製,但至少不會 說謊。

然而,這並不能完全解釋人類評估的結果:在兩個數據集中,標註員都明顯更偏好我們的模型和一個簡單的 lead-3 基準模型(它會複製首三句),而非人類撰寫的參考摘要。作者並不認同:我們認為參考摘要準確,而且更能捕捉整體訊息。這顯示我們希望模型學會的品質概念,與人類標註員實際評估的內容並不一致。標註員希望盡可能快速完成工作,而遵循「如果摘要是複製來的,就選 它」這個啟發式方法,就能讓他們做得很快。

挑戰與經驗教訓

線上資料收集並不容易

線上資料收集是取得最佳摘要結果的必要條件,但也帶來多項 困難:

  1. 軟件複雜度。將資料收集、獎勵模型訓練和 RL 微調交錯進行,令系統遠比各個組件分開運作時複雜。

  2. 機器學習複雜度。任何組件中的 ML 錯誤都會令整個系統失效,而且難以單獨除錯某個組件。

  3. 品質控制問題。線上收集標註要求從產生樣本到收到 Scale⁠(會在新視窗開啟) 回傳資料之間的延遲很低(通常約 ~30 minutes)。低延遲下的品質控制很困難,而且資料品質倒退的情況往往要到訓練流程 完成後才會被發現。

我們認為,離線和線上資料收集之間合適的折衷方案是 批次式 資料收集:輪流收集大量資料(延遲較高),再使用已收集的資料進行訓練。人類資料的成本意味着資料量始終會偏低,因此每次都容易從頭重新訓練(或者說,從 GPT‑2 的起始點開始)。

含糊任務令標註困難

一位人類評估者或許能清楚判斷個別樣本是否準確、合乎文法、沒有冗餘或涵蓋要點,但比較兩份摘要往往需要主觀衡量不同類型的缺點。若情況許可,設計較不含糊、但能取得相同資訊的標註任務似乎更好。例如,我們可以不要求評估者比較摘要,而是請他們用文字描述摘要的問題,或提出修改建議。即使兩人對最重要的問題意見不一,他們仍可能同意對方指出了 某個 問題;意見愈一致,資料品質控制和整體實驗 流程便愈容易。

程式錯誤可能使模型朝不良行為最佳化

我們其中一次程式碼重構引入了一個程式錯誤,令獎勵符號反轉。獎勵符號反轉通常會產生不連貫的文字,但同一個程式錯誤亦反轉了 KL 懲罰項的符號。結果,模型在維持自然語言流暢度的同時,朝負面情感方向最佳化。由於我們的指示要求人類對含有露骨性內容的續寫給予極低評分,模型很快便學會只輸出這類內容。這個程式錯誤很值得注意,因為結果不是亂碼,而是糟糕至極的輸出。作者在訓練期間睡着了,所以直到訓練完成後才發現問題。Toyota 的 安燈拉繩⁠(會在新視窗開啟) 或可避免這種情況,讓任何標註員都能停止有問題的訓練 流程。

展望未來

我們展示了如何在兩類自然語言任務——風格續寫和摘要——中,根據人類偏好進行獎勵學習。我們的結果好壞參半:續寫只需很少樣本便能取得良好結果,但我們的摘要模型只是「聰明的複製器」:它們會從輸入文字複製內容,但略過無關的前言。聰明複製的優點是忠於事實:零樣本和監督式模型會產生自然、看似合理但往往不實的摘要。我們認為,實驗的限制因素是資料品質,而線上資料收集模式令問題更加嚴重;未來計劃採用批次資料收集。

我們相信,將獎勵學習應用於語言,無論從能力或安全角度來看都很重要。在能力方面,強化學習讓我們能糾正監督式學習無法察覺的錯誤,但使用程式化獎勵函數的 RL「會損害模型品質⁠(會在新視窗開啟)」。在安全方面,語言獎勵學習能讓「不要說謊」等重要準則在訓練期間獲得體現,這亦是邁向可擴展安全方法(例如 辯論⁠ 和 擴增⁠)的一步。

註腳

  1. A

    摘要任務中的文字,是文章加上字串「TL;DR:」。

  2. B

    每個微調模型都是以人類標註員進行的 5,000 組四選一比較來訓練。

作者

Daniel Ziegler, Nisan Stiennon, Jeffrey Wu, Tom Brown, Dario Amodei, Alec Radford, Paul Christiano, Geoffrey Irving

鳴謝

感謝 Ethan Perez、Jack Clark、Ashley Pilipiszyn & Greg Brockman 對本文提供意見。感謝 Justin Jay Wang、Brooke Chan & Shan Carter 負責設計和開發。

來源:OpenAI News · openai.com