OpenAI 更新 Model Spec，以五項核心價值重組模型行為指引

更新版 Model Spec：讓 AI 更強大、造福更多人

載入中…

隨着我們的模型變得更聰明，並在現實世界採取影響更深遠的行動，模型除了理解所接收的具體指示，也變得愈來愈重要。模型亦需要理解人類的意圖和價值觀，才能在指示未有明確涵蓋的情況下作出恰當判斷，同時忠於人類意圖並尊重人類監督。

今天，我們更新了 Model Spec（在新視窗開啟），這是我們對模型應如何行事的公開説明。更新版以五項核心價值重新整理指引：忠於人類意圖、減少傷害、誠實與透明、人類自主權，以及關懷。這體現了我們在價值對齊方面的一項目標：讓模型能在陌生情境中理解並應用人類價值觀，同時忠於人類意圖。除了更清晰地解釋現有原則，修訂版亦加入了關於情境、監督和自主權的指引，調整部分行為預設，並廢除大部分詳細的風格指引。

以核心價值為主軸組織 Spec

上述五項價值闡明瞭 Model Spec 一直體現的廣泛承諾：服務人類的需要、保持誠實、減少傷害、尊重人們形成自身觀點的自由，以及認真看待他們的處境。將這些承諾整合起來，有助解釋 Spec 為何要求模型如此行事，也有助我們在這些承諾表達得不夠充分之處制定更清晰的指引。這次更新也是我們透過研究、部署模型的經驗、持續完善 Spec 的工作、有關 Spec 和模型行為的公眾意見，以及與用戶和外界專家的交流，逐步完善 Spec 的又一步。

我們希望 AI 能造福世界上有不同需要、價值觀和未來期望的人。

忠於人類意圖是這套方法的基礎：理解人們重視甚麼，並協助他們追求所重視的事物。OpenAI 撰寫 Spec、設定界限，並訓練模型尊重這些界限；開發者在這些界限內指導應用程式；用戶則在這些限制下指示模型的工作。我們的模型應透過協助人們瞭解世界、發掘可能性，以及追求自己選擇的目標，拓展人們塑造自身生活的能力，同時認真看待這種協助對他人的影響。忠於人類意圖，以及其餘四項價值，構成了 Spec 的主軸，並指引模型如何應對一些最重要的取捨。這些價值並非旨在涵蓋模型應尊重並協助人們追求的所有人類價值。

忠實理解不只是逐字遵從指示，更要深入理解 OpenAI、開發者和用戶的意圖與重視的價值，並在理解未完整時明智行事。這亦代表要認識到，人們的信念和價值觀可能改變，並以他們會認同的方式幫助他們反思和成長，而不暗中引導他們或凌駕其選擇。例如，在協助某人比較工作邀約時，模型可以參考對方之前分享過的優先考量（例如工時可預期），同時清楚説明這些假設，並讓對方容易更正。

我們的使命是確保人工通用智能造福全人類。這要求我們不只考慮某人的即時意圖，也要考慮其長遠利益，以及對他人的影響。其他四項價值觀明確説明瞭這些考量：

減少傷害是指遵守嚴格的安全界線，並考慮模型行動可預見的後果。
誠實與透明是指如實交代模型所知、所做及不確定之處，讓人們理解並評估其推理和工作。
促進人類自主性是指提升人們理解、選擇和自行採取行動的能力。
關懷是指關注受影響人士的處境、遵守相關的社會及專業規範，並做好讓人們可以信賴的工作。

Model Spec 將這些價值觀轉化為實用指引；在需要時設下嚴格界線以保障人們和社會，其餘大多採用用戶和開發者可覆寫的預設做法。

配合這次 Model Spec 更新，我們亦一直探索新的訓練方法，協助模型學習這些核心價值觀，並更深入理解和遵循 Model Spec 中的具體行為原則。我們旨在讓模型理解這些原則為何重要，以及如何在新情況下應用：做正確的事，並且基於正確的理由。我們希望這種理解有助模型在重大決策中作出審慎判斷，並在日常決策中用心處理；這些決策累積起來，能為人們和社會帶來長遠裨益⁠（在新視窗開啟）。我們會在未來的更新中分享這項訓練工作的成果和心得。

新增及撤下的章節

重新編排亦讓我們找出需要補充指引之處，制定新原則以應對，並按需要修訂或撤下現有指引。

關於忠實理解人類意圖的新章節，從人們重視的事物才是首要考量這一理念出發，而指示通常是表達這些價值觀最清晰、最重要的訊號。這種做法借鑑了對齊的「協助遊戲」框架（參見早期研究⁠（在新視窗開啟）及一篇後續概述⁠（在新視窗開啟））。本章節納入了更新後的指令優先次序⁠（在新視窗開啟），説明哪些指示適用，以及如何解決指示之間的衝突。新增的小節仔細考慮上下文⁠（在新視窗開啟）則説明對話、記憶及其他上下文證據，應如何協助模型理解人們的意圖和偏好。

我們亦加入了支持人類自主性⁠（在新視窗開啟）及遵循相關社會規範⁠（在新視窗開啟）的預設原則，並擴充了現有關於控制及溝通副作用⁠（在新視窗開啟）的指引。這些原則涵蓋了其餘價值觀應如何體現在模型行為中一些額外、往往微妙但重要的方式：考慮工作對他人的影響、提升用戶的能力，以及提供值得信賴的成果，同時尊重用戶的目標和指示。

與此同時，我們將不再保留 Model Spec 中大部分詳盡的風格指引。風格應配合人們的偏好而調整——整體而言、在不同語言和文化之中，以及因應每個人；用戶回饋和語境可反映這些偏好。Model Spec 會保留較強的預設原則，例如客觀地處理問題⁠（在新視窗開啟）。用戶和開發者可以明確要求模型採取特定觀點，但模型不應單憑自己認為用戶想聽甚麼，就推斷他們有這種偏好。

最後，為反映模型用途和部署情境日益廣泛，我們現於 Model Spec 中稱模型為「GPT」，而非「助理」。

下一步

隨着模型能力不斷提升，這次更新是讓 Model Spec 背後的價值觀和推理過程更加明確的第一步。Model Spec 説明我們致力實現的行為；目前我們的模型尚未完全符合當中的要求。我們會根據研究、實際應用和回饋所得，持續改進 Model Spec 和模型。

我們希望瞭解你認為 Model Spec 哪些部分值得認同、在哪些地方不同意它所採取的平衡，以及它遺漏或交代不清之處。你對其價值觀、取捨和具體措辭的回饋，有助我們加以改進。我們邀請你閲讀更新後的 Model Spec⁠（在新視窗開啟），並分享你的看法⁠（在新視窗開啟）。

對齊

作者

OpenAI