跳到正文
OpenAI News·· 2023-03-14精選AI 評分87

OpenAI 發佈 GPT-4 多模態模型

GPT-4

AI 導讀

OpenAI 發佈 GPT-4,這是一款可接收圖像和文字輸入、輸出文字的大型多模態模型。它在多項專業及學術基準上達到人類水平表現,但在許多真實場景中的能力仍不及人類。

推薦理由

材料同時交代 GPT-4 的圖像與文字輸入、文字輸出形式,以及基準表現和真實場景能力的差異,可幫助讀者把握其能力描述的範圍。

正文 · 繁體中文

我們打造了 GPT‑4,這是 OpenAI 擴大深度學習規模的最新里程碑。GPT‑4 是一個大型多模態模型(接受圖像和文字輸入,輸出文字);雖然它在許多現實世界情境中的能力不及人類,但在多項專業及學術基準測試中展現出人類水平的表現。例如,它通過模擬律師資格考試,成績約位列應考者前 10%;相比之下,GPT‑3.5 的成績約處於後 10%。我們花了 6 個月反覆 對齊⁠ GPT‑4 的同時,也參考我們從對抗測試計劃及 ChatGPT 中汲取的經驗,使我們在事實準確性、可引導性,以及拒絕越過安全護欄方面取得有史以來最佳成果(儘管遠未完美)。

過去兩年來,我們重建了整個深度學習技術堆疊,並與 Azure 一同從零開始,為我們的工作負載共同設計一台超級電腦。一年前,我們把 GPT‑3.5 訓練作為這套系統的首次「試運行」。我們發現並修復了一些錯誤,也改進了理論基礎。因此,GPT‑4 的訓練過程(至少對我們而言!)穩定得前所未有,成為我們首個能夠事先準確預測訓練表現的大型模型。隨着我們繼續專注於可靠地擴展規模,我們希望精進方法,協助我們更早地預測未來能力並作好準備——我們認為這對安全至關重要。

我們正透過 ChatGPT 和 API 推出 GPT‑4 的文字輸入功能(設有 候補名單⁠)。為讓圖像輸入功能日後更廣泛地提供,我們正先與 單一合作夥伴⁠(在新視窗中開啟) 緊密合作。我們亦將 OpenAI Evals⁠(在新視窗中開啟) 開放原始碼;這是我們用來自動評估 AI 模型表現的框架,讓任何人都能回報我們模型的不足之處,協助指引後續改進。

能力

在日常對話中,GPT‑3.5 與 GPT‑4 之間的差異可能不太明顯。當任務複雜程度達到一定門檻時,差異便會顯現——GPT‑4 更可靠、更有創意,也比 GPT‑3.5 更能處理細緻得多的指示。

為了解兩個模型的差異,我們使用多種基準測試,包括模擬原本為人類設計的考試。我們採用最新的公開試題(就 Olympiads 和 AP 自由作答題而言),或購買 2022–2023 年版的練習試卷。我們沒有針對這些考試進行特別訓練。模型在訓練期間接觸過考試中少數題目,但我們相信結果具有代表性——詳情請參閱我們的 技術報告⁠(在新視窗中開啟)。

內部參考 1

我們也在為機器學習模型設計的傳統基準測試上評估 GPT‑4。GPT‑4 大幅超越現有大型語言模型,也超越大多數最先進(SOTA)模型;這些模型可能經過特別針對基準測試的設計,或採用額外訓練流程:

許多現有的 ML 基準測試以英文撰寫。為初步了解模型在其他語言中的能力,我們使用 Azure Translate 將 MMLU 基準測試——一套包含 14,000 道選擇題、涵蓋 57 個科目的測試集——翻譯成多種語言(請參閱 附錄⁠)。在受測的 26 種語言中,GPT‑4 在其中 24 種的表現超越 GPT‑3.5 及其他 LLM(Chinchilla、PaLM)的英文表現,包括拉脫維亞語、威爾斯語和斯瓦希里語等資源較少的語言:

我們亦在內部使用 GPT‑4,並在支援、銷售、內容審核和程式設計等職能上帶來顯著成效。我們也利用它協助人類評估 AI 輸出,並開始推進我們策略的第二階段——對齊策略⁠。

視覺輸入

GPT‑4 可接受由文字和圖像組成的提示,這與純文字設定相似,讓使用者能指定任何視覺或語言任務。具體而言,對於文字與圖像交錯組成的輸入,它會產生文字輸出(自然語言、程式碼等)。在多種領域中,包括含有文字及照片的文件、圖表或螢幕截圖,GPT‑4 的表現與純文字輸入時相若。此外,還可結合為純文字語言模型開發的測試時技術,例如少樣本及 思維鏈⁠(在新視窗中開啟)提示。圖像輸入功能目前仍屬研究預覽,尚未公開提供。

我們透過一小組標準學術視覺基準測試,預覽 GPT‑4 的表現。然而,這些數字未能充分反映其能力的全部範圍,因為我們不斷發現模型能夠處理的嶄新而令人振奮的任務。我們計劃很快公布更多分析和評估數據,並深入探討測試時技術所帶來的影響。

內部註腳A

可引導性

我們一直在推進文章中概述的計劃各個方面,包括 定義 AI 行為⁠和可引導性。以往的 ChatGPT 個性在冗長程度、語氣和風格上都是固定的;現在,開發者(以及即將加入的 ChatGPT 使用者)只要在「系統」訊息中描述指示,便可指定 AI 的風格和任務。系統訊息讓 API 使用者能在界限內大幅自訂使用者體驗 在界限內⁠(在新視窗中開啟)。我們會繼續改進這方面(尤其清楚知道系統訊息是讓目前模型「越獄」最容易的方法,也就是模型未能完美遵守界限),但仍鼓勵你試用,並告訴我們你的看法。

限制

儘管 GPT‑4 具備這些能力,它仍有與早期 GPT 模型相似的限制。最重要的是,它仍未完全可靠(會對事實產生「幻覺」,亦會出現推理錯誤)。使用語言模型輸出時應格外謹慎,尤其是在高風險情境下;具體做法(例如人工審核、以額外背景資料作為依據,或完全避免用於高風險用途)應配合特定使用情境的需要。

雖然幻覺仍是個切實存在的問題,GPT‑4 的幻覺情況相較以往模型大幅減少(而這些模型本身亦在每次迭代中持續改進)。在我們內部的對抗式事實準確性評估中,GPT‑4 的得分比我們最新的 GPT‑3.5 高 40%:

我們在 TruthfulQA 等外部基準測試上已有進展。這些測試評估模型能否從一組經對抗性挑選的錯誤陳述中分辨事實。這些問題同時附有事實錯誤、但在統計上頗具吸引力的答案。

GPT‑4 基礎模型在這項任務上只比 GPT‑3.5 稍好;不過,經過 RLHF⁠ 後訓練(採用我們用於 GPT‑3.5⁠ 的相同流程)後,兩者之間便有很大差距。從以下一些例子可見,GPT‑4 能抵抗選擇常見俗語(「老狗學不會新把戲」),但仍可能忽略細微之處(Elvis Presley 並非演員的兒子)。

模型的輸出可能帶有各種偏見;我們在這方面已有進展,但仍有更多工作要做。根據我們 最近的網誌文章⁠,我們旨在讓所建構的 AI 系統具備合理的預設行為,以反映廣大使用者的價值觀;同時容許使用者在寬廣界限內自訂這些系統,並讓公眾就這些界限應如何設定提供意見。

GPT‑4 通常不知道其大部分資料的截止日期(September 2021)之後發生的事件,也不會從自身經驗中學習。有時它會犯一些簡單的推理錯誤,這似乎與它在眾多領域展現的能力不相稱;它也可能過分輕信使用者提出的明顯錯誤陳述。有時它亦會像人類一樣,在困難問題上失手,例如在生成的程式碼中引入安全漏洞。

GPT‑4 亦可能對自己的預測深信不疑,卻仍然出錯;當工作很可能出錯時,它未必會仔細覆核。有趣的是,基礎預訓練模型的校準度很高(它對答案預測的信心通常與答案正確的機率相符)。然而,經過我們目前的後訓練流程,這種校準度有所下降。

風險及緩解措施

從訓練一開始,我們就一直迭代改進 GPT‑4,務求令它更安全、更符合對齊目標;相關工作包括挑選和篩選預訓練資料、進行評估及邀請專家參與、提升模型安全性,以及監察和執行相關規定。

GPT‑4 面對的風險與先前模型相似,例如產生有害建議、有錯誤的程式碼或不準確的資訊。然而,GPT‑4 的額外能力也帶來新的風險面向。為了了解這些風險的程度,我們邀請了來自人工智能對齊風險、網絡安全、生物風險、信任與安全,以及國際安全等領域的超過 50 位專家,以對抗方式測試模型。他們的研究結果特別讓我們得以測試模型在高風險領域的行為,而評估這些行為需要專業知識。這些專家提供的意見和數據,有助我們制定模型的風險緩解措施並作出改進;例如,我們收集了額外數據,以提升 GPT‑4 拒絕有關如何合成危險化學品的請求的能力。

GPT‑4 在 RLHF 訓練期間加入額外的安全獎勵訊號,透過訓練模型拒絕相關內容的請求,減少有害輸出(定義見我們的 使用指引⁠(在新視窗中開啟))。這項獎勵由 GPT‑4 零樣本分類器提供,用來判斷安全相關提示是否符合安全界限,以及回覆風格是否合適。為免模型拒絕有效請求,我們從不同來源收集多元資料集(例如已標註的生產環境資料、人類紅隊測試、模型生成的提示),並對允許和不允許的類別套用安全獎勵訊號(正值或負值)。 

相較於 GPT‑3.5,我們的緩解措施大幅改善了 GPT‑4 多項安全特性。與 GPT‑3.5 相比,我們已將模型回應違禁內容請求的傾向降低 82%;而 GPT‑4 按照我們的政策回應敏感請求(例如醫療建議和自我傷害)的頻率提高了 29%。

整體而言,我們在模型層面採取的措施增加了誘發不良行為的難度,但仍有可能做到。此外,仍存在能生成違反我們 使用指引⁠內容的「越獄」方法。隨着 AI 系統的「每個 token 風險」增加,要讓這些措施達到極高的可靠程度將變得至關重要;目前,配合在部署時採取的安全技術(例如監察濫用情況)以彌補這些限制,仍然很重要。

GPT‑4 及後續模型有潛力以有益和有害的方式大幅影響社會。我們正與外部研究人員合作,改善我們理解和評估潛在影響的方式,並為未來系統可能出現的危險能力建立評估。我們很快會分享更多對 GPT‑4 及其他 AI 系統可能帶來的社會和經濟影響的看法。

訓練流程

與以往的 GPT 模型一樣,GPT‑4 基礎模型經訓練後會預測文件中的下一個詞,並使用公開可取得的資料(例如互聯網資料)及我們獲授權使用的資料進行訓練。這個網絡規模的資料語料庫包含數學問題的正確和錯誤解答、薄弱和有力的推理、自相矛盾和前後一致的陳述,並呈現各式各樣的意識形態和觀點。

因此,當基礎模型收到問題提示時,它可以用各種方式作答,而答案可能與使用者的意圖相差甚遠。為了在安全護欄內使模型符合使用者的意圖,我們使用人類回饋強化學習(RLHF⁠)微調模型的行為。

請注意,模型的能力似乎主要來自預訓練流程——RLHF 不會提升考試表現(若不積極處理,實際上還會令表現下降)。但模型的引導能力則來自後訓練流程——基礎模型需要透過提示工程,才會知道自己應該回答問題。

可預測的擴展

GPT‑4 項目的一個重點,是建立一套能按可預測方式擴展的深度學習技術堆疊。主要原因是,對於 GPT‑4 這類極大型訓練,無法進行大量針對個別模型的調校。我們開發了在不同規模下都能有可預測表現的基礎設施和最佳化方法。為驗證這種可擴展性,我們根據採用相同方法訓練、但運算量少 10,000x 的模型作外推,事先準確預測了 GPT‑4 在我們內部程式碼庫上的最終損失值(該程式碼庫不屬於訓練集):

現在,我們能準確預測訓練期間所最佳化的指標(損失值),並開始制定方法來預測更容易理解的指標。例如,我們根據運算量少 1,000x 的模型作外推,成功預測了 HumanEval⁠(在新視窗中開啟) 資料集子集的通過率:

我們相信,準確預測未來機器學習能力是安全工作的重要一環,但相對於其潛在影響,這方面受到的關注遠遠不足(不過,多個機構的相關工作令我們感到鼓舞)。我們正加大力度開發相關方法,讓社會更清楚掌握未來系統的預期表現;我們希望這會成為業界的共同目標。

OpenAI Evals

我們正將 OpenAI Evals⁠(在新視窗中開啟) 開放原始碼。這是我們用來建立和執行基準測試、評估 GPT‑4 等模型的軟件框架,同時可逐個樣本檢視模型表現。我們利用 Evals 指引模型開發,包括找出不足和防止效能倒退;使用者則可用它追蹤不同模型版本(現在會定期推出)的表現,以及不斷演進的產品整合。例如,Stripe 使用 Evals 配合人工評估,衡量其 GPT 驅動文件工具的準確度。

由於程式碼全都以開放原始碼發布,Evals 支援編寫新類別,以實作 自訂評估邏輯⁠(在新視窗中開啟)。不過,根據我們的經驗,許多基準測試都遵循少數幾種「模板」,因此我們也 收錄了這些模板⁠(在新視窗中開啟),其中包括我們在內部最常用的模板(例如「由模型評分的評測」模板——我們發現 GPT‑4 出奇地擅長檢查自己的工作)。一般而言,建立新評測最有效的方法是 建立評測⁠(在新視窗中開啟) 時套用其中一種模板並提供資料。我們期待看到其他人能以這些模板和 Evals 拓展出甚麼。

我們希望 Evals 成為分享和群眾協作建立基準測試的途徑,涵蓋盡可能廣泛的失效模式和困難任務。作為示例,我們建立了一項 邏輯謎題⁠(在新視窗中開啟) 評測,其中有十個提示會令 GPT‑4 失手。Evals 亦支援實作現有基準測試;我們收錄了數個 筆記本⁠(在新視窗中開啟),用來實作學術基準測試,並提供幾種整合 CoQA⁠(在新視窗中開啟)(小型子集)的方式作為示例。

我們邀請所有人使用 Evals 測試我們的模型,並提交最有意思的例子。我們相信,Evals 將成為使用和建基於我們模型的重要流程之一,並歡迎 直接貢獻、提問和回饋⁠(在新視窗中開啟)。

ChatGPT Plus

ChatGPT Plus 訂閱者可在 chatgpt.com⁠(在新視窗中開啟) 使用 GPT‑4,但設有使用上限。我們會按實際需求和系統表現調整確切上限,但預計容量會非常緊張(不過我們會在未來數月擴大規模並作最佳化)。

視流量模式而定,我們可能會推出新的訂閱級別,供使用量較高的 GPT‑4 用戶選用;我們亦希望日後能提供一定數量的免費 GPT‑4 查詢,讓沒有訂閱的人也能試用。

API

如要取得 GPT‑4 API 的使用權(它使用與 gpt-3.5-turbo 相同的 ChatCompletions API⁠(在新視窗中開啟)),請 登記候補名單⁠。我們今天會開始邀請部分開發者加入,並逐步擴大規模,以平衡容量和需求。如果你是研究 AI 社會影響或 AI 對齊問題的研究人員,也可以透過我們的 Researcher Access Program⁠ 申請資助使用權。

取得使用權後,你可以向 gpt-4 模型發送純文字請求(圖像輸入仍處於有限度的 alpha 測試)。隨着新版本推出,我們會自動更新至建議使用的穩定模型(你可以呼叫 gpt-4-0314 固定目前版本;我們會支援至 June 14)。每 1k prompt tokens 收費 $0.03,每 1k completion tokens 收費 $0.06。預設速率限制為每分鐘 40k tokens 和 200 個請求。

gpt-4 的上下文長度為 8,192 tokens。我們亦有限度開放上下文長度為 32,768(約 50 頁文字)的版本 gpt-4-32k;這個版本也會隨時間自動更新(目前版本為 gpt-4-32k-0314,同樣支援至 June 14)。每 1K prompt tokens 收費 $0.06,每 1k completion tokens 收費 $0.12。我們仍在改善模型處理長上下文的品質,並期待你分享它在你使用情境中的表現。我們會按容量以不同速率處理 8K 和 32K 引擎的請求,因此你可能會在不同時間取得它們的使用權。

結論

我們期待 GPT‑4 成為改善人們生活的實用工具,為各種應用程式提供動力。還有大量工作要做;我們期待透過社群的共同努力持續改進這個模型。這個社群在模型之上開發、探索並作出貢獻。

附錄

翻譯成其他語言的 MMLU 題目範例。請注意,我們使用一致的選項標記(A–D):

來源:OpenAI News · openai.com