跳到正文
OpenAI News·· 2019-11-05精選AI 評分78

OpenAI 發佈 GPT-2 1.5B 參數版本及程式碼、模型權重

GPT-2: 1.5B release

AI 導讀

OpenAI 發佈 GPT-2 分階段發布的最後一版,亦是參數量 1.5B 的最大版本,並提供可協助檢測 GPT-2 模型輸出的程式碼與模型權重。雖然自 8 月起已有更大型語言模型發布,OpenAI 仍按原計劃完成分階段發布,希望將完整流程作為未來強大模型開發者的測試案例。OpenAI 亦表示持續與 AI 社羣討論負責任發布。

推薦理由

這次發布把 GPT-2 的分階段公開流程作為後續強大模型發布的測試案例,也説明提供程式碼與權重的用途是協助檢測模型輸出。

正文 · 繁體中文

1. 人們認為 GPT‑2 的輸出令人信服。 我們在 Cornell University 的合作夥伴調查了人們,請他們按不同模型規模為 GPT‑2 文字評定可信度。受訪者給 1.5B 模型的「可信度分數」為 10 分中 6.91 分。這個分數略高於 774M 模型的輸出(6.72),亦顯著高於中型 355M 模型的輸出(6.07)。這些結果令我們更傾向於發布 1.5B 模型,因為相較於 774M 模型,人們感知到的可信度增幅似乎 不大。

2. GPT‑2 可被微調以作不當用途。 我們的合作夥伴 Middlebury Institute of International Studies’ Center on Terrorism, Extremism, and Counterterrorism (CTEC) 發現,極端組織可以將 GPT‑2 用於不當用途,具體做法是根據四種意識形態立場微調 GPT‑2 模型:白人至上主義、馬克思主義、聖戰主義伊斯蘭思想,以及無政府主義。CTEC 證明,可以建立能為這些意識形態生成合成宣傳內容的模型。他們亦指出,儘管機器學習偵測方法對合成輸出的偵測準確度偏低,仍可讓專家合理懷疑有行動者正在生成合成 文字。

3. 偵測並不容易。 我們預期,以內容為基礎偵測合成文字將是一項長期挑戰。為了測試機器學習方法現時是否有所幫助,我們進行了內部偵測研究,並開發了一個 偵測模型⁠(在新視窗中開啟) 其針對 1.5B GPT‑2 生成文字的偵測率為 ~95%。A 我們認為,這個準確度不足以單獨用於偵測,必須配合以中繼資料為基礎的方法、人類判斷及公眾教育,才能更有效。我們發布這個模型,以協助研究合成文字偵測,但這確實會令能取得模型的對手更容易避過 偵測。

雖然我們發現偵測準確度很大程度取決於訓練和測試時使用的抽樣方法,但我們亦發現,採用多種抽樣技術進行訓練時,偵測會更可靠。如下圖所示,我們觀察到,較大型模型的輸出較難分類,但以較大型模型的輸出進行訓練,能令偵測結果更準確、更穩健。我們預期這個趨勢會持續,模型規模愈大,偵測便愈具挑戰性 規模。

來源:OpenAI News · openai.com