GPT-4o 過度奉承問題:OpenAI 撤回 ChatGPT 更新並説明處理方式
Sycophancy in GPT-4o: what happened and what we’re doing about it
OpenAI 已在 ChatGPT 撤回上週的 GPT-4o 更新,用户目前改用行為較平衡的早期版本。被撤回的更新過度奉承或迎合,常被形容為 sycophantic。
公告同時交代撤回更新的原因與回退後的版本狀態,呈現 GPT-4o 行為調整對 ChatGPT 用户的直接影響。
我們已撤回上星期在 ChatGPT 推出的 GPT‑4o 更新,現時大家使用的是行為較平衡的較早版本。我們撤回的更新過於奉承或一味附和,常被形容為諂媚。
我們正積極測試新的修正措施,以處理這個問題。我們正修訂收集及納入意見回饋的方式,大幅提高長期用戶滿意度的權重,並推出更多個人化功能,讓用戶更能掌控 ChatGPT 的行為。
我們希望說明發生了甚麼事、為何重要,以及我們如何處理諂媚問題。
發生了甚麼事
上星期的 GPT‑4o 更新中,我們作出調整,旨在改善模型的預設個性,令它在各類任務中感覺更直觀、更有效。
塑造模型行為時,我們會以基本原則和指示為起點,這些內容列於我們的 Model Spec(在新視窗中開啟)。我們亦透過納入用戶訊號,教導模型如何應用這些原則,例如用戶對 ChatGPT 回應按讚/踩的意見回饋。
然而,在這次更新中,我們過度着重短期意見回饋,未有充分考慮用戶與 ChatGPT 的互動如何隨時間演變。因此,GPT‑4o 的回應傾向過度支持用戶,卻缺乏誠意。
為何這件事重要
ChatGPT 的預設個性深深影響你使用它的體驗,以及你對它的信任。諂媚式互動可能令人感到不自在、不安,甚至造成困擾。我們未有做到位,現正努力改善。
我們的目標是協助用戶探索想法、作出決定,或想像各種可能。
我們設計 ChatGPT 的預設個性,務求體現我們的使命,並做到實用、支持用戶,以及尊重不同的價值觀和經驗。然而,這些理想特質各有可能帶來意想不到的副作用,例如嘗試做到實用或支持用戶。而每週有 500 million 人在各種文化和情境中使用 ChatGPT,單一預設設定無法涵蓋每個人的偏好。
我們如何處理諂媚問題
除了撤回最新的 GPT‑4o 更新之外,我們亦正採取更多措施,讓模型行為重回正軌:
精進核心訓練技術和系統提示詞,明確引導模型避免諂媚。
建立更多防護措施,以提升 誠實和透明度(在新視窗中開啟)——這些都是我們的 Model Spec 所列的原則。
擴大讓更多用戶在部署前測試並直接提供意見回饋的途徑。
繼續擴展我們的評估工作,並以 Model Spec(在新視窗中開啟) 及 我們持續進行的研究 為基礎,協助日後識別諂媚以外的問題。
我們亦認為,用戶應能更自主地掌控 ChatGPT 的行為,並在安全可行的範圍內,若不認同預設行為,便可作出調整。
目前,用戶可以透過自訂指示等功能,向模型提供特定指示以塑造其行為。我們亦正開發更簡便的新方法,讓用戶做到這一點。例如,用戶將可即時提供意見回饋,直接影響他們與 ChatGPT 的互動,並從多種預設個性中作出選擇。
此外,我們正探索新方法,將更廣泛、更民主的意見回饋納入 ChatGPT 的預設行為中。我們希望這些回饋有助我們更充分反映世界各地多元的文化價值觀,並了解你希望 ChatGPT 如何演變——不只在每次互動中,也要隨時間演進。
感謝所有就此發聲的人。這些意見正幫助我們為你打造更有幫助、更好的工具。
來源:OpenAI News · openai.com