OpenAI 以人類偏好微調 GPT-2
Fine-tuning GPT-2 from human preferences
OpenAI 使用人類回饋微調 774M 參數的 GPT-2,使模型在多項任務上匹配外部人類標註者的偏好。摘要任務需 60k 個人類標註,標註者偏好整句照抄輸入,模型因此學會複製;多種風格的續寫任務則需 5k 標註。OpenAI 指出,標註者的偏好並不總與自身一致,並希望藉由讓安全技術更接近「機器與人交談」的一般任務,提取人類價值資訊。
這項實驗對比摘要與續寫任務的標註需求,並呈現標註者偏好整句照抄輸入時,微調模型也會學會相同行為。
OpenAI
我們利用人類回饋,針對多種任務微調了 774M 參數的 GPT‑2 語言模型,成功令模型符合外部人類標註員的偏好,儘管這些偏好並非總是與我們自己的偏好一致。具體而言,在摘要任務中,標註員偏好整句照搬輸入內容(我們只要求他們確保準確性),因此我們的模型學會了複製。摘要需要 60k 個人類標註;較簡單、以不同風格續寫文字的任務,只需 5k 個標註。我們的動機是讓安全技術更接近「機器與人交談」這項一般任務;我們相信這是提取有關人類 價值觀資訊的關鍵。
我們相信,語言是令強化學習在真實世界任務中切實可行並安全的關鍵要素。 先前 研究(會在新視窗開啟) 關於學習人類偏好模型的研究,集中於簡單的模擬環境(Atari 遊戲或機械人任務),這些環境無法涵蓋語言的複雜性。語言亦是 擴增 和 辯論等演算法不可或缺的要素,旨在處理偏好背後的推理。
這項工作將人類偏好學習應用於多項自然語言任務:以正面情感或身體描寫續寫文字,所用語料為 BookCorpus(會在新視窗開啟),以及概括來自 TL;DR(會在新視窗開啟) 和 CNN/Daily Mail(會在新視窗開啟) 數據集的內容。這些任務每一項都可以視為文字補全問題:從一段文字 X開始,我們會問接下來應該接續甚麼文字 Y。A
我們從一個預訓練語言模型(GPT‑2 的 774M 參數版本)開始,並透過向 人類標註員(會在新視窗開啟) 詢問四個樣本中哪一個最好,以此微調模型。對風格續寫任務進行微調所需樣本不多:根據人類評估,只需 5,000 個人類樣本便足以取得出色表現。至於摘要,使用 60,000 組比較訓練的模型學會照抄輸入中的完整句子,同時略過無關的前言;這種複製方式容易確保摘要準確,但可能利用了標註員依賴簡單 啟發式規則這一點。
風格化文字續寫
下方展示了原始 774M GPT‑2 模型與我們微調版本的比較樣本。B
根據用來訓練這些模型的同一批人類標註員的評價,在情感和描述性方面,標註員分別有 88% 和 86% 的時間更偏好我們微調後的模型,而非基礎 GPT‑2 模型(零樣本)。
摘要
我們亦對兩項摘要任務採用人類微調:概括 CNN/Daily Mail 數據集中的文章,以及概括 TL;DR 數據集中的 Reddit 片段。
這些任務更困難:我們的主要模型使用 60,000 組四選一比較。我們亦需要 線上 資料收集:隨着策略改變,訓練過程中會持續收集展示給人類的樣本;採用 離線 資料收集策略、只向人類展示基礎 GPT‑2 語言模型的樣本,效果不佳。
根據人類標註員的評估,我們的模型表現非常好,但很可能利用了標註員依賴簡單啟發式規則這一點:他們較偏好複製首三句的 lead-3 基準模型,而非我們的模型。不過,結合監督式微調與人類微調後,我們的模型在 ROUGE 分數方面勝過 lead-3。
下方展示了零樣本和監督式基準模型的樣本,以及各自經 RL 微調後的樣本。
讀者可能已留意到這些樣本有幾點特徵。首先,我們經 RL 微調的模型大多像一部聰明的複製器:它通常會複製文章或 Reddit 片段中的完整句子來概括內容。相比之下,零樣本和監督式微調模型產生的樣本更為新穎:
模型 | CNN/Daily Mail | tl;dr |
參考摘要 | 96.7 | 98.9 |
零樣本 | 91.7 | 96.3 |
微調後 | 2.5 | 29.0 |
監督式 | 83.6 | 96.9 |
監督式 + 微調後 | 69.6 | 94.0 |
句子新穎度:摘要中未出現在來源 文字中的句子所佔百分比。
經 RL 微調的模型確實會改變複製來源:在 TL;DR 和 CNN/Daily Mail 上,它們分別有 28.3% 和 77.6% 的情況會複製輸入開頭;若輸入以資訊不足的前言開頭(TL;DR 中的定義為「嗨」、「你好」、「喂」、「好」、「好」或「咁」;CNN/Daily Mail 則以首三個詞中出現冒號為準,例如「得獎者:Simon Wood 奪得電視冠軍 [...]」),這些比例會降至 0.2% 和 1.4%。
下方的視覺化圖表展示摘要模型複製來源位置的差異,並以隨機選取的語境中、語境與摘要之間由二元詞組構成的最長共同子序列作說明。
其次,雖然以 n 元詞組或句子衡量,GPT‑2 零樣本模型和經監督式微調的 GPT‑2 版本所生成的摘要更具新穎性,但就內容而言,它們也更為新穎。換言之,它們並不 屬實:
模型 | CNN/Daily Mail | tl;dr |
零樣本 | 6/30 | 6/30 |
微調後 | 29/30 | 26/30 |
監督式 | 19/30 | 8/30 |
監督式 + 微調後 | 20/30 | 11/30 |
摘要準確度:由作者根據每個數據集的 30 篇文章,判斷生成摘要準確的頻率。
這些結果至少有兩種解讀方式。第一種是,複製是確保準確最容易的方法。標註員獲指示要懲罰不準確,但不要懲罰複製。零樣本模型有時會複製,而複製時內容是準確的,因此複製行為獲得了強化。結果是模型大多只會複製,但至少不會 說謊。
然而,這並不能完全解釋人類評估的結果:在兩個數據集中,標註員都明顯更偏好我們的模型和一個簡單的 lead-3 基準模型(它會複製首三句),而非人類撰寫的參考摘要。作者並不認同:我們認為參考摘要準確,而且更能捕捉整體訊息。這顯示我們希望模型學會的品質概念,與人類標註員實際評估的內容並不一致。標註員希望盡可能快速完成工作,而遵循「如果摘要是複製來的,就選 它」這個啟發式方法,就能讓他們做得很快。
挑戰與經驗教訓
線上資料收集並不容易
線上資料收集是取得最佳摘要結果的必要條件,但也帶來多項 困難:
軟件複雜度。將資料收集、獎勵模型訓練和 RL 微調交錯進行,令系統遠比各個組件分開運作時複雜。
機器學習複雜度。任何組件中的 ML 錯誤都會令整個系統失效,而且難以單獨除錯某個組件。
品質控制問題。線上收集標註要求從產生樣本到收到 Scale(會在新視窗開啟) 回傳資料之間的延遲很低(通常約 ~30 minutes)。低延遲下的品質控制很困難,而且資料品質倒退的情況往往要到訓練流程 完成後才會被發現。
我們認為,離線和線上資料收集之間合適的折衷方案是 批次式 資料收集:輪流收集大量資料(延遲較高),再使用已收集的資料進行訓練。人類資料的成本意味着資料量始終會偏低,因此每次都容易從頭重新訓練(或者說,從 GPT‑2 的起始點開始)。
含糊任務令標註困難
一位人類評估者或許能清楚判斷個別樣本是否準確、合乎文法、沒有冗餘或涵蓋要點,但比較兩份摘要往往需要主觀衡量不同類型的缺點。若情況許可,設計較不含糊、但能取得相同資訊的標註任務似乎更好。例如,我們可以不要求評估者比較摘要,而是請他們用文字描述摘要的問題,或提出修改建議。即使兩人對最重要的問題意見不一,他們仍可能同意對方指出了 某個 問題;意見愈一致,資料品質控制和整體實驗 流程便愈容易。
程式錯誤可能使模型朝不良行為最佳化
我們其中一次程式碼重構引入了一個程式錯誤,令獎勵符號反轉。獎勵符號反轉通常會產生不連貫的文字,但同一個程式錯誤亦反轉了 KL 懲罰項的符號。結果,模型在維持自然語言流暢度的同時,朝負面情感方向最佳化。由於我們的指示要求人類對含有露骨性內容的續寫給予極低評分,模型很快便學會只輸出這類內容。這個程式錯誤很值得注意,因為結果不是亂碼,而是糟糕至極的輸出。作者在訓練期間睡着了,所以直到訓練完成後才發現問題。Toyota 的 安燈拉繩(會在新視窗開啟) 或可避免這種情況,讓任何標註員都能停止有問題的訓練 流程。
展望未來
我們展示了如何在兩類自然語言任務——風格續寫和摘要——中,根據人類偏好進行獎勵學習。我們的結果好壞參半:續寫只需很少樣本便能取得良好結果,但我們的摘要模型只是「聰明的複製器」:它們會從輸入文字複製內容,但略過無關的前言。聰明複製的優點是忠於事實:零樣本和監督式模型會產生自然、看似合理但往往不實的摘要。我們認為,實驗的限制因素是資料品質,而線上資料收集模式令問題更加嚴重;未來計劃採用批次資料收集。
我們相信,將獎勵學習應用於語言,無論從能力或安全角度來看都很重要。在能力方面,強化學習讓我們能糾正監督式學習無法察覺的錯誤,但使用程式化獎勵函數的 RL「會損害模型品質(會在新視窗開啟)」。在安全方面,語言獎勵學習能讓「不要說謊」等重要準則在訓練期間獲得體現,這亦是邁向可擴展安全方法(例如 辯論 和 擴增)的一步。
註腳
- A
摘要任務中的文字,是文章加上字串「TL;DR:」。
- B
每個微調模型都是以人類標註員進行的 5,000 組四選一比較來訓練。
作者
Daniel Ziegler, Nisan Stiennon, Jeffrey Wu, Tom Brown, Dario Amodei, Alec Radford, Paul Christiano, Geoffrey Irving
鳴謝
感謝 Ethan Perez、Jack Clark、Ashley Pilipiszyn & Greg Brockman 對本文提供意見。感謝 Justin Jay Wang、Brooke Chan & Shan Carter 負責設計和開發。
來源:OpenAI News · openai.com