跳到正文
OpenAI News·· 2019-08-20精選AI 評分68

GPT-2 六個月後續:OpenAI 發佈 774 million 參數語言模型

GPT-2: 6-month follow-up

AI 導讀

OpenAI 發佈 774 million 參數的 GPT-2 語言模型,接續 2 月推出的 124M 小型版及 5 月分階段發佈的 355M 中型版。OpenAI 與合作夥伴及 AI 社羣研究模型可能遭濫用及帶來社會效益。OpenAI 亦發佈開源法律協議,方便組織之間建立模型共享合作,並公佈一份關於與更廣泛 AI 研究社羣協調發表規範經驗的技術報告。

推薦理由

從 124M、355M 到 774 million 參數模型的分階段發佈,連同模型共享協議和發表規範協調經驗,呈現 GPT-2 後續開放與社羣協作的脈絡。

正文 · 繁體中文

這些合作夥伴的研究成果、對 774M 模型使用情況的觀察,以及為了解較大型模型相關考量而與研究人員和政策制定者討論語言模型,均會納入我們未來的發布決策。作為分階段發布策略的一部分,我們目前計劃在幾個月後發布 1558M 參數模型,但合作夥伴的研究發現,或有人惡意使用我們的 774M 模型,都有可能改變 這項安排。

我們認為,分階段發布與以合作夥伴關係為基礎的模型共享相結合,很可能成為人工智能領域負責任發布的重要基礎,尤其是在強大的生成式模型方面。大型模型本身固有的問題會隨時間推移而增加,而非減少。我們希望,我們對 GPT‑2 的研究(其進一步討論內容載於 技術報告⁠(在新視窗中開啟) (由我們發布)),能為人工智能社群提供可供參考的證據,讓他們在思考人工智能研究某些領域固有的發布挑戰時有所依據。

來源:OpenAI News · openai.com