跳到正文
OpenAI News·· 2019-02-14精選AI 評分70

OpenAI 訓練更強大的語言模型並探討其影響

Better language models and their implications

AI 導讀

OpenAI 訓練出一個大型無監督語言模型,可生成連貫段落,並在多項語言建模基準上取得最先進表現。該模型無需針對特定任務訓練,亦能進行初步閲讀理解、機器翻譯、問答和摘要。

推薦理由

它把語言建模基準表現與閲讀理解、翻譯、問答和摘要能力集中在同一個無需針對特定任務訓練的模型中,呈現大型無監督語言模型的能力範圍。

正文 · 繁體中文

OpenAI

我們訓練出一個大型無監督式語言模型,能生成連貫的段落,在許多語言建模基準測試中達到最先進水平,並具備初步的閱讀理解、機器翻譯、問答及摘要能力——全部無需針對特定任務進行 訓練。

我們的模型名為 GPT‑2(是 GPT⁠的後繼版本),訓練方式只是根據 40GB 的互聯網文本預測下一個詞。由於我們憂慮這項技術遭到惡意使用,因此不會發布訓練完成的模型。作為負責任披露的一項實驗,我們改為發布一個 小得多的模型⁠(在新視窗開啟) 供研究人員試驗,以及一份 技術 論文⁠(在新視窗開啟)。

GPT‑2 是一個大型、以 Transformer⁠(在新視窗開啟) 為基礎的語言模型,擁有 1.5 billion 個參數,並以包含 8 million 個網頁的資料集訓練A。GPT‑2 的訓練目標很簡單:根據一段文字中之前出現的所有詞語,預測下一個詞語。資料集的多樣性令這個簡單目標自然包含來自不同領域的多種任務示範。GPT‑2 是 GPT 的直接放大版本,參數量超過 10X,訓練資料量亦超過 10X。

GPT‑2 展現了廣泛的能力,包括生成前所未有的高質素條件式合成文本樣本:我們先以輸入提示模型,再讓它生成一段較長的延續文本。此外,GPT‑2 無需使用特定領域的訓練資料集,表現已超越以特定領域(例如維基百科、新聞或書籍)資料訓練的其他語言模型。在問答、閱讀理解、摘要及翻譯等語言任務上,GPT‑2 無需任何特定任務的訓練資料,便開始從原始文本中學習這些任務。雖然這些下游任務的分數遠未達到最先進水平,但結果顯示,只要有足夠的(未標記)資料及 運算資源,這些任務或可受惠於無監督技術。

樣本

GPT‑2 會根據模型收到的任意輸入提示,生成合成文本樣本。模型像變色龍一樣——會適應條件文本的風格和內容。這讓使用者可以就自己選擇的主題生成逼真而連貫的延續文本,以下精選樣本便展示了這種能力。B

如上述樣本所示,我們的模型能根據各種提示生成樣本,質素接近人類水平,文本連貫程度可達一頁或以上。儘管如此,我們也觀察到多種失效模式,例如文本重複、世界模型失效(例如模型有時會寫到 水底下發生火災),以及不自然的主題轉換。探索語言模型這類弱點,是自然語言處理社群中一個 活躍⁠(在新視窗開啟) 研究⁠(在新視窗開啟) 範疇內的 課題⁠(在新視窗開啟)。

總括而言,我們發現通常要嘗試幾次才能得到理想樣本,所需次數取決於模型對相關內容有多熟悉。當提示涉及資料中佔比很高的主題(Brexit、Miley Cyrus、《魔戒》等)時,模型大約有 50% 的機會生成合理的樣本。反過來說,遇到高度專業或冷僻的內容時,模型也可能表現不佳。微調有望讓人更仔細地控制生成的樣本;例如,我們可以用 Amazon Reviews 資料集微調 GPT‑2,讓它根據星級評分、類別等條件撰寫評論。

這些樣本帶來重大的政策影響:大型語言模型愈來愈容易被引導,以大規模生成可自訂且連貫的文本,而這些文本既可用於多種有益用途,也可能遭到惡意使用。我們會在下文深入討論這些影響,並說明我們基於這些考量所採取的發布實驗。

零樣本

GPT‑2 在各種特定領域的語言建模任務中取得最先進成績。我們沒有使用任何這些任務專用的資料訓練模型,只在最後測試時才對它們進行評估;這稱為「零樣本」設定。評估結果顯示,GPT‑2 在這些資料集上的表現勝過以特定領域資料集(例如維基百科、新聞、書籍)訓練的模型。下表列出我們在零樣本設定下取得的所有最先進 結果。

(+) 表示此領域的分數愈高愈好。(–) 表示分數愈低愈 好。

資料集

指標

我們的結果

先前紀錄

人類

Winograd Schema Challenge

準確率 (+)

70.70%

63.7%

92%+

LAMBADA

準確率 (+)

63.24%

59.23%

95%+

LAMBADA

困惑度 (–)

8.6

99

~1–2

Children’s Book Test Common Nouns(驗證準確率)

準確率 (+)

93.30%

85.7%

96%

Children’s Book Test Named Entities(驗證準確率)

準確率 (+)

89.05%

82.3%

92%

Penn Tree Bank

困惑度 (–)

35.76

46.54

未知

WikiText-2

困惑度 (–)

18.34

39.14

未知

enwik8

bits per character (–)

0.93

0.99

未知

text8

bits per character (–)

0.98

1.08

未知

WikiText-103

困惑度 (–)

17.48

18.3

未知

GPT‑2 在 Winograd Schema、LAMBADA 及其他語言建模任務中達到最先進水平。

在問答、閱讀理解、摘要及翻譯等其他語言任務上,只要以恰當方式提示訓練好的模型(下文會舉例說明做法),即使完全不微調模型,我們也能取得出乎意料的結果,不過表現仍未及專門系統的最先進水平。

我們推測,由於這些任務屬於一般語言建模的一部分,增加運算資源及資料應可進一步提升表現。其他人也曾發表 類似的假設⁠(在新視窗開啟)。我們也預期微調有助提升下游任務的表現,不過尚未進行全面的 實驗。

政策影響

大型通用語言模型可能對社會造成重大影響,近期也有許多應用。我們可以預見,像 GPT‑2 這類系統可用來創造:

  • 人工智能寫作助理

  • 能力更強的對話代理

  • 不同語言之間 的無監督翻譯

  • 更好的語音識別系統

我們也可以想像將這些模型用於 惡意用途⁠,包括以下用途(或其他我們目前還未能 預料的用途):

  • 生成誤導性的新聞 文章

  • 在網上冒充他人

  • 自動製作具侮辱性或偽造的內容,並發佈到社交媒體

  • 自動製作垃圾訊息/網絡釣魚內容

這些發現,加上先前在合成圖像、音訊及影片方面的研究成果,顯示相關技術正降低製作虛假內容和發動假資訊宣傳活動的成本。大眾需要對在網上看到的文本抱持更審慎的態度,正如「深度偽造⁠(在新視窗開啟)」現象促使人們對圖像抱持更審慎的態度一樣。C

如今,惡意行為者——其中一些帶有政治性——已開始針對共同的網上公共空間,使用 例如⁠(在新視窗開啟) 「機械人式工具、假帳戶,以及專門以仇恨言論或抹黑言論騷擾個人的團隊,令他們不敢發聲,或難以讓人聽見、相信。」我們應考慮,合成圖像、影片、音訊及文本生成技術的研究如何結合,進一步賦予這些行為者新的、目前尚未預見的能力,並應尋求建立更完善的技術及非技術反制措施。此外,這些系統所蘊含的技術創新是人工智能基礎研究的核心,因此不可能在不減慢整體人工智能進展的情況下控制這些領域的研究。

發布策略

由於我們憂慮大型語言模型可能被用來大規模生成欺騙性、帶偏見或具侮辱性的語言,因此只會發布一個 小得多的 GPT‑2 版本及取樣程式碼⁠(在新視窗開啟)。我們不會發布資料集、訓練程式碼或 GPT‑2 模型權重。近一年前,我們在 OpenAI Charter⁠中寫道:「我們預期,安全及保安方面的考量將會限制我們日後按傳統方式發表研究的做法,同時提高分享安全、政策及標準研究的重要性。」我們認為目前這項工作可能正是這類考量的初步跡象,而且預期這些考量會隨時間增加。這項決定及我們對它的討論都是一項實驗:雖然我們不確定這在當下是否正確,但相信人工智能社群終有一天需要審慎處理某些研究領域的發表規範問題。生物科技及網絡安全等其他領域,長期以來一直就有明確濫用可能性的研究,積極討論如何負責任地發表。我們希望這項實驗能成為案例,讓人工智能社群更細緻地討論模型及程式碼的發布決策。

我們知道有些研究人員具備重現我們成果並將其開源的技術能力。我們相信,發布策略限制了最初可能選擇這樣做的機構範圍,並讓人工智能社群有更多時間討論這類 系統的影響。

我們也認為,各國政府應考慮擴大或啟動措施,以更有系統地監察人工智能技術對社會的影響及其普及情況,並衡量這類系統能力的進展。若推行這些措施,便可為人工智能實驗室及政府在發布決策和更廣泛的人工智能政策方面提供更充分的實證依據。

我們會在六個月後公開進一步討論這項策略。如想討論大型語言模型及其影響,請電郵至: languagequestions@openai.com⁠。如果你有興趣參與尖端語言模型的工作,並思考其政策影響, 我們 正在招聘⁠。

GPT‑2 中期更新,May 2019

我們正透過分階段發布和以合作夥伴為基礎的分享,採取兩項機制,務求以負責任的方式發布 GPT‑2,並希望日後的發布也能如此。作為分階段發布的下一步,我們現正 發布⁠(在新視窗開啟) 較大的 345M 版本 GPT‑2,並與人工智能及安全社群中致力提升社會對大型語言模型準備程度的合作夥伴分享 762M 和 1.5B 版本。

分階段發布

分階段發布是指逐步發布一系列模型。分階段發布 GPT‑2 的目的是讓人們有時間評估這些模型的特性、討論其對社會的影響,並在每個階段發布後評估發布所造成的影響。

作為分階段發布策略的下一步,我們會發布 GPT‑2 的 345M 參數版本。此模型的表現較 117M 版本有所提升,但在生成連貫文本的容易程度方面仍不及 1.5B 版本。我們很高興看到 GPT‑2‑117M 有如此多正面用途,並希望 345M 能帶來更多益處。

345M 的濫用風險高於 117M,但我們相信遠低於 1.5B;我們也相信,許多行為者早已具備訓練出與 GPT‑2‑345M 能力相近系統的條件。這種不斷變化的複製現況影響了我們對適宜發布內容的決策。

在決定發布 345M 時,我們考慮的因素包括:不同使用者使用不同模型尺寸生成連貫文本的難易程度、人類在文本生成過程中的角色、其他人日後複製及發布的可能性和時間、現實環境中的使用證據及專家根據不可觀察用途作出的推斷、概念驗證案例(例如原始網誌文章提到的評論生成器)、對模型作有益用途的需求強度,以及持份者和專家的意見。我們對其中一些變數仍然不確定,並繼續歡迎各方就如何作出合適的語言模型發布 決策提供意見。

我們希望持續進行的偏見、偵測及濫用研究,能讓我們有信心及時發布更大型的模型;在六個月時,我們會分享更完整的語言模型對社會影響分析,以及我們作出發布 決策時採用的經驗法則。

輸出資料集

我們 正發佈⁠(在新視窗中開啟) 一個 GPT‑2 輸出資料集,涵蓋全部 4 種模型規模在採用及不採用 top-k 截斷時的輸出,以及用於訓練 GPT‑2 的部分 WebText 語料庫。這個輸出資料集每個模型/超參數組合約有 250,000 個樣本;我們預期這足以協助更多不同類型的研究人員,針對上述三個主題進行定量及定性分析。除了這些資料集,我們亦會附上對模型若干偵測相關特性的基準分析,希望其他人能迅速以此為基礎 進一步發展。

聯絡我們

我們希望與從事語言模型輸出偵測、偏見及發表規範研究的人員,以及可能受大型語言模型影響的機構合作:請透過我們的 Google 表單⁠(在新視窗開啟)聯絡我們。此外,OpenAI 的語言、安全及政策團隊下週會出席 ICLR⁠(在新視窗開啟),包括參與可重現性工作坊及 OpenAI 攤位的活動。我們也會在 AI for Social Good⁠(在新視窗開啟) 工作坊討論這項發布策略。

註腳

  1. A

    我們透過抓取互聯網上的內容建立了一個新資料集,着重提升內容的多樣性。為了保留文件質素,我們只使用經人工整理/篩選的網頁;具體而言,我們採用來自 Reddit、至少獲得 3 點 karma 的外連連結。這可視為一項啟發式指標,用來判斷其他使用者是否覺得連結有趣(無論內容有教育意義還是有趣),因此資料質素高於 CommonCrawl 等類似資料集。

  2. B

    請注意,雖然這些樣本是我們親自挑選的,因此也帶有某種元層次的挑選偏誤,但我們相信它們仍相當能代表取樣過程。我們目前只使用 top-k 截斷取樣,尚未探索更進階的取樣方法(例如集束搜尋方法)。

  3. C

    政治人物或可考慮為濫用這類系統引入懲罰措施,正如有些人對深度偽造提出的建議。

原文

Alec Radford, Jeffrey Wu, Dario Amodei, Daniella Amodei, Jack Clark, Miles Brundage, Ilya Sutskever

中期更新

Miles Brundage, Alec Radford, Jeffrey Wu, Jack Clark, Amanda Askell, David Lansky, Danny Hernandez, David Luan

鳴謝

感謝 David Luan 和 Rewon Child 為 GPT-2 所做的工作。

我們也感謝以下人士對本文草稿提出意見:Greg Brockman、Kai-Fu Lee、Tasha McCauley、Jeffrey Ding、Brian Tse、Allan Dafoe、Rebecca Crootof、Sam Bowman、Ryan Calo、Nick Cammarata 和 John Schulman。

編輯:Ashley Pilipiszyn

設計:Justin Jay Wang

封面美術作品:Ben Barry

來源:OpenAI News · openai.com