跳到正文
OpenAI News·· 2022-11-30精選AI 評分93

OpenAI 介紹對話模型 ChatGPT

Introducing ChatGPT

AI 導讀

OpenAI 介紹了名為 ChatGPT 的對話模型,該模型以對話方式與用户互動。對話格式使 ChatGPT 能回答追問、承認錯誤、質疑不正確前提,並拒絕不當請求。

推薦理由

原文把追問、承認錯誤、質疑錯誤前提及拒絕不當請求列為對話格式支持的行為,具體呈現 ChatGPT 的互動設計。

正文 · 繁體中文

我們訓練了一個名為 ChatGPT 的模型,它能以對話方式互動。對話格式讓 ChatGPT 能夠回答後續問題、承認自己的錯誤、質疑不正確的前提,並拒絕不恰當的要求。

ChatGPT 是 InstructGPT⁠ 的同系模型,而它經過訓練,能遵循提示中的指示並提供詳細回覆。

我們很高興向大家介紹 ChatGPT,藉此收集用戶意見並了解其優點與不足。研究預覽期間,ChatGPT 可免費使用。現在即可到 chatgpt.com⁠(在新視窗開啟)。

示例

方法

我們使用人類回饋強化學習(RLHF)訓練這個模型,採用與 InstructGPT⁠相同的方法,不過資料收集安排略有不同。我們使用監督式微調訓練初始模型:人類 AI 訓練員提供對話,當中他們分別扮演用戶和 AI 助理。我們讓訓練員參考由模型撰寫的建議,協助他們編寫回覆。我們把這個新的對話資料集與 InstructGPT 資料集混合,並將後者轉換成對話 格式。

為了建立用於強化學習的獎勵模型,我們需要收集比較資料,內容包括兩個或以上按品質排序的模型回應。為收集這些資料,我們取用了 AI 訓練員與聊天機械人的對話。我們隨機挑選一則由模型撰寫的訊息,抽取數個替代完成內容,再由 AI 訓練員為它們排序。利用這些獎勵模型,我們可以使用 近端策略最佳化⁠微調模型。我們多次重複這個 流程。

ChatGPT 是以 GPT‑3.5 系列中的一個模型微調而成,該系列於 2022 年初完成訓練。你可在 此處⁠(在新視窗開啟)了解更多有關 3.5 系列的資訊。ChatGPT 和 GPT‑3.5 是在 Azure AI 超級電腦基建上訓練的。

限制

  • ChatGPT 有時會寫出聽起來合理、但不正確或毫無道理的答案。要解決這個問題很困難,原因包括:(1) 在 RL 訓練期間,目前沒有可靠的標準答案;(2) 訓練模型變得更謹慎,會令它拒答一些本來能正確回答的問題;(3) 監督式訓練會誤導模型,因為理想答案 取決於模型所知道的內容⁠(在新視窗開啟),而非人類示範者 所知道的內容。

  • ChatGPT 對輸入措辭的細微調整或多次嘗試同一提示都很敏感。例如,對於某一種問題措辭,模型可能會聲稱不知道答案;但只要稍微改寫,就可能答對。

  • 模型往往過於冗長,並過度使用某些措辭,例如反覆聲明自己是由 OpenAI 訓練的語言模型。這些問題源於訓練資料中的偏差(訓練員偏好較長、看似較全面的答案),以及眾所周知的過度最佳化問題。1, 2

  • 理想情況下,當用戶提出含糊不清的查詢時,模型會先提出澄清問題。但目前的模型通常會猜測用戶 的意圖。

  • 雖然我們已努力讓模型拒絕不恰當的要求,但它有時仍會回應有害指示或表現出偏頗行為。我們正使用 Moderation API⁠ 就某些類型的不安全內容發出警告或加以封鎖;但目前預期仍會出現一些漏判和誤判。我們期待收集用戶意見,以協助我們持續改進這個 系統。

迭代部署

今天推出的 ChatGPT 研究版本,是 OpenAI 迭代部署⁠ 愈來愈安全且實用的 AI 系統的最新一步。從 GPT‑3 和 Codex 等早期模型的部署中汲取的許多經驗,為此版本採取的安全緩解措施提供了依據,包括透過人類回饋強化學習 (RLHF) 大幅減少有害和不真實的輸出。

我們知道,如上所述,模型仍有不少限制,並計劃定期更新模型以改善這些方面。不過,我們也希望透過提供易於使用的 ChatGPT 介面,從用戶收集寶貴意見,了解我們尚未察覺的問題。

我們鼓勵用戶透過介面回報有問題的模型輸出,以及外部內容過濾器的誤判或漏判;該過濾器也是介面的一部分。我們尤其希望收到有關模型在真實世界、非對抗性情況下可能產生的有害輸出的意見,以及有助我們發現和了解新風險及可能緩解方法的回饋。你可參加 ChatGPT 意見回饋比賽⁠(在新視窗開啟)3 有機會贏取價值最高達 $500 的 API 額度。A參賽作品可透過 ChatGPT 介面內連結的意見回饋表格提交。

我們期待把這次發布的經驗帶入更強大系統的部署工作,正如以往的部署經驗也曾為這次發布提供參考。

腳註

  1. A

參考資料

  1. 1
  2. 2
  3. 3

    這項比賽的構想部分源自 Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah Raji, 和 Joy Buolamwini 的研究。 演算法危害漏洞懸賞?從網絡安全漏洞披露中汲取演算法危害的發現、披露及補救經驗。Washington, DC:Algorithmic Justice League。January 2022。可於 https://ajl.org/bugs⁠(在新視窗開啟)。另可參閱 Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn, 及 Gretchen Krueger 等人的研究。《邁向值得信賴的 AI 開發:支援可驗證主張的機制》,April 2020。可於 https://arxiv.org/abs/2004.07213⁠(在新視窗開啟)。另可參閱 HackerOne 上較早期的同類競賽。2021b。「Twitter 演算法偏見」。HackerOne。 https://hackerone.com/twitter-algorithmic-bias?type=team⁠(在新視窗開啟)。最後,亦可參閱 Rubinovitz, JB 早期發表的相關研究:「以偏見懸賞計劃作為對抗 AI 偏見的方法」,August 2018。可於 https://rubinovitz.com/2018/08/01/bias-bounty-programs-as-a-method-of-combatting⁠(在新視窗開啟)。

作者

OpenAI

致謝

John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish, Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff, Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe, Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo Bavarian, Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power, Stanislas Polu, Jesse Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse

來源:OpenAI News · openai.com