OpenAI 推出 ChatGPT agent,可在指引下運用工具完成研究、預訂及簡報等任務
Introducing ChatGPT agent
OpenAI 推出 ChatGPT agent;它能思考並採取行動,在使用者指引下運用工具完成研究、預訂及簡報等任務。
原文將 ChatGPT agent 的定位連到工具操作與使用者指引,並以研究、預訂和簡報列出可處理的任務範圍。
ChatGPT 現在可以使用自己的電腦替你工作,從頭到尾處理複雜任務。
你現在可以要求 ChatGPT 處理各種請求,例如「查看我的日曆,並根據近期新聞向我簡報即將舉行的客戶會議」、「規劃並購買食材,為四人準備日式早餐」,以及「分析三名競爭對手並製作簡報」。ChatGPT 會靈活瀏覽網站、篩選結果、在需要時提示你安全登入、執行程式碼、進行分析,甚至提供可編輯的簡報和試算表,總結其調查結果。
統一的代理式系統是這項新功能的核心。它結合了三項早期突破所展現的優勢:Operator 的瀏覽網站的能力、deep research 的綜合資訊的本領,以及 ChatGPT 的智能與流暢對話能力。
ChatGPT 會透過自己的虛擬電腦執行這些任務,在推理與行動之間流暢切換,完全按照你的指示由始至終處理複雜工作流程。
最重要的是,你始終掌握主導權。ChatGPT 在採取會帶來重大後果的行動前會徵求許可,而你可以隨時輕易中斷任務、接管瀏覽器,或停止任務。
由今日起,Pro、Plus 及 Team 用戶可在任何對話中的任何時候,透過撰寫區的工具下拉選單選取「代理模式」,直接啟用 ChatGPT 的全新代理功能。
雖然 ChatGPT agent 已是處理複雜任務的強大工具,但今日的推出只是開始。我們會繼續逐步定期加入重大改進,隨時間令它對更多人更有能力、更實用。
Operator 和 deep research 的自然演進
此前,Operator 和 deep research 各自展現獨特優勢:Operator 可以在網上捲動頁面、點擊和輸入文字,而 deep research 則擅長分析和摘要資訊。但兩者最適合不同情況:Operator 無法深入分析或撰寫詳細報告,而 deep research 無法與網站互動以完善結果,或存取需要用戶身分驗證的內容。事實上,我們發現用戶透過 Operator 嘗試的許多查詢,其實更適合交由 deep research 處理,因此我們把兩者的優點結合起來。
透過在 ChatGPT 中整合這些互補優勢並加入其他工具,我們在單一模型中解鎖了全新功能。它現在可以主動與網站互動,點擊、篩選並收集更精準、更有效率的結果。你也可以在同一個對話中,自然地由簡單交談轉為直接要求它採取行動。
一個與你合作、為你辦事的代理程式
我們為 ChatGPT agent 配備了一套工具:透過圖形用戶介面與網絡互動的視覺瀏覽器、用於較簡單推理式網絡查詢的文字瀏覽器、終端機,以及直接 API 存取。 代理程式亦可使用 ChatGPT connectors(在新視窗開啟),讓你連接 Gmail 和 Github 等應用程式,令 ChatGPT 能找出與你提示相關的資訊,並在回覆中使用這些資訊。你也可以接管瀏覽器,在任何網站登入,讓它在研究和執行任務時探索得更深入、更廣泛。讓 ChatGPT 透過這些不同途徑存取和互動網絡資訊,代表它能選擇最佳路徑,以最高效率完成任務。例如,它可透過 API 收集你的日曆資訊,利用文字瀏覽器有效率地推理大量文字,同時亦能以視覺方式與主要為人類設計的網站互動。
以上一切都是透過它自己的虛擬電腦完成;即使使用多種工具,這部虛擬電腦仍會保留任務所需的上下文。模型可以選擇用文字瀏覽器或視覺瀏覽器開啟頁面、從網絡下載檔案、透過在終端機執行指令修改檔案,然後再於視覺瀏覽器查看輸出。模型會調整處理方式,以速度、準確度和效率完成任務。
ChatGPT agent 專為反覆協作的工作流程而設,比以往的模型互動性更高,也更靈活。ChatGPT 工作時,你可以隨時中斷以澄清指示、引導它達成理想結果,或徹底更改任務。它會根據新資訊從中斷處繼續,同時保留先前進度。同樣地,為確保任務符合你的目標,ChatGPT 本身亦可能在需要時主動向你索取更多資料。如果任務所需時間比預期長,或似乎停滯不前,你可以暫停任務、要求它提供進度摘要,或完全停止任務並取得部分結果。如果你的手機裝有 ChatGPT app,任務完成時它會向你發送通知。
拓展現實世界的用途
這些統一的代理功能大幅提升了 ChatGPT 在日常及專業情境中的實用性。工作上,你可以自動化重複工作,例如把螢幕截圖或儀表板轉換成由可編輯向量元素組成的簡報、重新安排會議、規劃和預訂外地團隊活動,以及在保留原有格式的同時用最新財務數據更新試算表。個人生活方面,你可以輕鬆規劃和預訂旅程、設計並預訂整場晚宴,或尋找專科醫生並預約。
模型能力提升亦反映在其網頁瀏覽及完成現實世界任務能力的評測中,展現出最先進水平(SOTA)的表現。
在 Humanity’s Last Exam(在新視窗開啟)* 上,這項評測以專家級問題衡量 AI 在廣泛學科上的表現,為 ChatGPT agent 提供動力的模型創下全新 pass@1 SOTA,分數為 41.6。由於代理程式會動態規劃並自行選擇工具,同一任務在不同執行過程中可能採取不同方式。以簡單的平行試行策略擴展評測規模時,我們會同時執行最多八次嘗試,並選取自我報告信心最高的一次;代理程式的 HLE 分數因而升至 44.4。
FrontierMath** 是目前已知最難的數學基準測試,包含新穎且未公開的題目,專家數學家通常要花數小時甚至數天才能解答。使用工具(例如存取終端機執行程式碼)後,ChatGPT agent 的準確率達到 27.4%,大幅超越先前兩個模型。
我們亦使用仿照複雜現實世界任務設計的基準測試評估模型。在一項內部基準測試中,該測試旨在評估模型執行複雜且具經濟價值的知識工作任務的表現,ChatGPT agent 的輸出在不同任務完成時長下,約有一半個案與人類表現相若或更佳,同時大幅勝過 o3 和 o4-mini。專家會將模型輸出與各領域頂尖表現者提供的高質素人類基準答案作比較評分。這些任務由不同職業和行業的專家提供,反映現實專業工作,例如為按需緊急護理服務供應商準備競爭分析、建立詳盡的攤銷時間表,以及為新的綠氫設施找出可行水井。
在 DSBench(在新視窗開啟),這項旨在以涵蓋數據分析和建模的真實數據科學任務評估代理程式的基準測試中,ChatGPT agent 的表現明顯大幅超越人類。
在 SpreadsheetBench 上,這項評測衡量模型編輯源自真實情境試算表的能力,ChatGPT agent 大幅超越現有模型。若可直接編輯試算表,ChatGPT agent 的分數更高,達到 45.5%,相比之下 Copilot in Excel 為 20.0%。
方法:SpreadsheetBench 的作者使用 Windows 環境及 Microsoft Excel 評估試算表。我們使用 OSX 環境及 LibreOffice,這可能會導致評分出現細微差異。例如,作者發現 GPT‑4o 的整體高難度限制為 15.02%,而我們得出的數值為 13.38%。我們使用了完整的 912-question 基準測試。
在一項內部基準測試中,我們衡量模型執行投資銀行分析員第一至第三年建模任務的能力,例如為財富 500 強公司建立格式和引文恰當的三表財務模型,或為私有化交易建立槓桿收購模型;為 ChatGPT agent 提供動力的模型表現大幅勝過 deep research 和 o3。每項任務都會按照數百項有關正確性和公式使用的準則評分。
我們亦使用BrowseComp 評估 ChatGPT agent;這是我們在今年較早時發佈的基準測試,用來衡量瀏覽代理程式在網絡上尋找難以發現資訊的能力。該模型以 68.9% 創下新 SOTA,比 deep research 高 17.4 個百分點。
最後,在 WebArena(於新視窗開啟),這是一項旨在評估網頁瀏覽代理完成現實世界網頁任務表現的基準測試,模型表現優於 o3‑powered CUA(為 Operator 提供支援的模型)。
如何使用
你可以在任何對話中的任何時候,透過撰寫區的工具下拉選單選取「代理模式」,直接啟用 ChatGPT 的全新代理功能。只要說明你想完成的任務即可,無論是進行 deep research、製作簡報,還是提交報銷單。執行任務時,畫面上的旁白會清楚顯示 ChatGPT 正在做甚麼。你可以在需要時中斷任務並接管瀏覽器,確保任務符合你的目標。
ChatGPT agent 可存取你的連接器,讓它融入你的工作流程,並取得相關且可採取行動的資訊。完成驗證後,這些連接器可讓 ChatGPT 查看資訊並執行例如總結你當日收件匣,或找出你可出席會議的時段等操作;然而,若要在這些網站採取行動,系統仍會要求你接管瀏覽器並登入。
此外,你可以將已完成的任務設為自動重複執行,例如每逢星期一早上自動產生每週指標報告。
新功能帶來新風險
這次發布標誌着用戶首次可以要求 ChatGPT 在網絡上採取行動。這帶來新的風險,尤其是 ChatGPT agent 可以直接處理你的資料,無論是透過連接器存取的資訊,還是你在接管模式中登入的網站上的資料。我們強化了 Operator 研究預覽版中的完善控制措施,並針對處理即時網絡上的敏感資訊、擴大用戶覆蓋範圍,以及(有限的)終端機網絡存取等挑戰加入防護措施。雖然這些緩解措施大幅降低了風險,但 ChatGPT agent 擴展的工具和更廣泛的用戶覆蓋範圍,令其整體風險水平更高。
我們特別着重保護 ChatGPT agent 免受透過提示注入進行對抗性操控;這是代理式系統普遍面對的風險,因此我們已準備更全面的緩解措施。提示注入是第三方試圖透過惡意指示操控 ChatGPT agent 行為的手法;代理程式完成任務時可能會在網絡上遇到這些指示。例如,網頁中隱藏的惡意提示(例如藏在不可見元素或中繼資料中)可能誘使代理程式採取非預期行動,例如把連接器中的私人資料分享給攻擊者,或在用戶已登入的網站上採取有害行動。由於 ChatGPT agent 可以直接採取行動,成功的攻擊可能造成更大影響和更高風險。
我們訓練並測試了代理程式辨識和抵禦提示注入的能力,並利用監察機制迅速偵測及應對提示注入攻擊。在採取會帶來重大後果的行動前要求用戶明確確認,可進一步降低這類攻擊造成傷害的風險;用戶亦可按需要接管或暫停任務。用戶在決定向代理程式提供甚麼資訊時,應衡量這些取捨,並採取措施減少接觸這些風險,例如在任務不需要連接器時將其停用。
我們亦針對模型錯誤採取緩解措施,尤其是模型現在能執行影響現實世界的任務:
用戶明確確認:ChatGPT 經過訓練,會在採取可能對現實世界造成影響的行動前明確徵求你的許可,例如購買物品。
主動監督(「Watch Mode」):部分關鍵任務,例如發送電郵,需要你主動監督。
主動風險緩解:ChatGPT 經過訓練,會主動拒絕銀行轉帳等高風險任務。
最後,我們加入了額外控制措施,以限制模型可存取的資料:
私隱控制:只要在 ChatGPT 設定中按一下,你便可刪除所有瀏覽資料,並立即登出所有啟用中的網站工作階段。否則,Cookie 會按各個曾瀏覽網站的 Cookie 政策保留,這可令再次瀏覽網站時更有效率。
安全的瀏覽器接管模式:你透過 ChatGPT 瀏覽器與網絡互動時(「接管模式」),輸入內容會保持私密。ChatGPT 不會收集或儲存你在這些工作階段輸入的資料,例如密碼,因為模型不需要這些資料,而且它完全看不到會更安全。
迄今最強大的生物風險安全防護體系
鑑於模型能力提升,我們決定根據Preparedness Framework,將 ChatGPT agent 視為具有高生物及化學能力的模型,並啟用相應的防護措施。雖然目前沒有確切證據顯示該模型能實質協助新手造成嚴重生物危害(這是我們界定高能力的門檻),我們仍採取審慎做法,現在便實施所需的防護措施。因此,這個模型配備了我們迄今最全面的安全防護體系,並加強了生物安全措施,包括全面威脅建模、雙重用途拒絕訓練、持續運作的分類器和推理監察器,以及清晰的執法流程。
除了確保 ChatGPT agent 安全外,我們亦深知,只有讓防護措施超越單一實驗室的範圍,分層式生物安全措施才能發揮最大成效,因此我們與業界各方合作加強防禦。自第一天起,我們一直與外部生物安全專家、安全研究機構及學術研究人員合作,共同制定威脅模型、評估和政策。受過生物學訓練的審查人員驗證了我們的評估數據,而領域專家紅隊成員則在真實情境中對防護措施進行壓力測試。本月較早時,我們召集政府、學術界、國家實驗室和非政府組織的專家舉辦生物防禦工作坊,以加快合作並推進由 AI 推動的生物防禦研究。我們會繼續在全球建立合作關係,走在新興風險之前。
請在系統卡了解更多關於統一代理式模型全面安全方案的資訊。我們亦推出了漏洞賞金計劃,以便找出並消除現實世界的風險。
供應情況
ChatGPT agent 今日開始向 Pro、Plus 和 Team 推出;Pro 用戶將於今日結束前取得使用權,而 Plus 和 Team 用戶則會在未來幾日內取得使用權。Enterprise 和 Education 用戶將於未來數週內取得使用權。Pro 用戶每月可傳送 400 則訊息,其他付費用戶每月可傳送 40 則訊息,並可透過彈性的點數方案增加用量。
我們仍在努力開放歐洲經濟區及瑞士的存取權限。
Operator 研究預覽版網站將會再運作數週,其後便會終止服務。deep research 是 ChatGPT agent 功能的一部分。如果你較喜歡原有的 deep research 功能(預設可能需要較長時間執行,但會提供更詳細深入的回覆),仍可在訊息撰寫區的下拉選單中選取「deep research」以使用該功能。
限制與未來展望
ChatGPT agent 仍處於早期階段。它能處理多種複雜任務,但仍可能出錯。
雖然我們認為它在製作簡報方面潛力巨大,但這項功能目前仍處於測試階段。目前的輸出在格式和精緻度上有時略顯粗糙,尤其是在沒有現有文件可供參考時。我們為模型初期能力設定的重點,是生成能以適合簡報的流程和格式整理資訊的成果,其中包括文字、圖表、圖片和圖形等元素,匯出後即可直接輕鬆編輯,並以結構和靈活性為優先考量。目前,檢視器中的投影片與匯出的 powerpoint 偶爾仍會出現差異,我們正努力減少這種情況。此外,你現在可以上載現有試算表,讓 ChatGPT 編輯或用作範本,但簡報目前尚未支援這項功能。我們已開始訓練下一代 ChatGPT 簡報製作功能,務求提供更精緻成熟的輸出、更廣泛的功能和更完善的格式。
整體而言,我們預期 ChatGPT agent 的效率、深度和靈活性會持續提升;我們亦會繼續調整所需的用戶監督程度,讓互動更流暢、功能更實用,同時確保使用安全。
附錄
SpreadsheetBench | ||||
|---|---|---|---|---|
模型 | 評估環境 | 軟性限制(%):儲存格層級 | 軟性限制(%):工作表層級 | 軟性限制(%):整體 |
GPT‑4o | Windows, Excel | 15.03 | 23.65 | 18.35 |
Copilot in Excel | Windows, Excel | 23.33 | 15.00 | 20.00 |
GPT‑4o | OSX, LibreOffice | 15.86 | 18.33 | 16.81 |
OpenAI o3 | OSX, LibreOffice | 22.40 | 24.60 | 23.25 |
ChatGPT agent | OSX, LibreOffice | 38.27 | 30.48 | 35.27 |
ChatGPT agent with .xlsx | OSX, LibreOffice | 50.56 | 37.51 | 45.54 |
人類 | 75.56 | 65.00 | 71.33 |
直播重播
來源:OpenAI News · openai.com