OpenAI 如何透過 Performance Factory 讓 ChatGPT 保持高速運行
How OpenAI’s Performance Factory keeps ChatGPT fast
OpenAI 建立雲端 Performance Factory,利用 Codex 及其模型自動調查性能退化並提出修復方案,協助維持 ChatGPT 的運行速度。
文章拆解 Performance Factory 如何把告警調查、修復提案和部署後驗證串成工作流,並呈現 OpenAI 以對抗式審查及歷史事故回測改善智能體診斷的做法。
OpenAI 的 Performance Factory 如何讓 ChatGPT 保持快速
我們以 Codex 驅動的系統會自動找出並修復效能問題。
技術團隊成員 Okay Zed 和 Cyrus Forbes
分享
從人工調查到自動化工作流程
Agent 開發的驚人速度,令傳統效能工程方法難以為繼。為了跟上步伐,我們建立了 Performance Factory 這個自主系統,充分運用 Codex 和我們的模型,前所未有地迅速找出並修復效能回退問題。Performance Factory 在雲端運行,自動調查並解決效能問題,讓我們能配合產品路線圖的宏大目標。
在 Performance Factory 中,工程師會為反覆出現的工作設定工作流程,並撰寫指示,讓 Codex Agent 執行。具體而言,效能警報觸發時,Regression Workflow 會建立一項任務。Agent 會調查效能下降的原因,在任務中記錄調查結果,並提出修復方案供工程師審核。部署後,另一個 Agent 會接手同一項任務,確認效能是否已恢復至基準水平。從調查、編寫修復方案到確認緩解措施奏效,Performance Factory 的首個工作流程已將修復效能回退的整個流程自動化。在短短三個多月內,Regression Workflow 追蹤了超過1,700宗調查,並找出超過600宗個案的根本原因。即每日自動調查17宗。
本文會分享我們如何逐步發展 Codex 的應用,建立如今的 Performance Factory,介紹首個投入運作的工作流程,並分享我們在正式環境中建構及運行 Agent 工作流程的初步心得。
從人工調查到自動化工作流程
隨着我們在更多效能工作中使用 Codex,我們留意到團隊的工作方式逐步演變。我們希望其他服務團隊在其他領域採用 Agent 工作流程時,也能從我們的流程中有所借鑑。

軟件工作由人手操作,演變為與機器協作,再發展至 Agent 工廠。
1. Codex 之前。在使用 Codex 之前,工程師會人手檢查指標和記錄、比較追蹤資料、偵錯正在運行的機器,並閲讀程式碼以調查效能變慢的原因。這些工作耗時,而且往往需要深入瞭解服務,才知道應該從哪裏着手。相關訊號也很容易被忽略。當我們反覆遇到同類問題時,例如 ChatGPT 首個 token 的延遲增加,我們便會建立進階工具,例如 CPU 和記憶體配置分析工具,讓調查更容易進行。日積月累之下,我們建立了 30 多種效能工具。
2. Codex 作為協作夥伴。有 Codex 協助後,工程師可以問:「為甚麼速度變慢了?」並與 Codex 一起調查,即使面對不熟悉的系統也可以。Codex 能搜尋大型程式碼庫、找出相關指標和追蹤資料、追查不同服務之間的互動,並進行合適的效能分析,拼湊出事情的經過。不過,工程師仍須引導整個流程,知道該使用哪些效能工具,以及如何指導調查。更多人如今可以調查棘手問題,而且所需的專業知識和時間都較少。
3. 可重用技能。為了進一步自動化,我們將效能團隊的調查流程整理成一項共用技能,名為 perf-forensics。這項技能會告訴 Codex 有哪些工具可用、何時使用,以及如何逐步調查效能變慢的問題,讓 Codex 可以從幾個方向嘗試找出問題:
找出效能開始變慢的時間
識別受影響的請求
調查部署或設定變更是否可能解釋問題
我們根據過往的效能退化問題製作評估測試,並用來測試和改進 perf-forensics 技能。對於我們着重處理的效能退化類型(例如 ChatGPT 延遲增加和可用性下降),我們現在只需向 Codex 提供一則警示,便能在單次執行中取得診斷結果,而無須逐步引導它完成調查。
4. 人工中介。隨着我們新增並改進 perf-forensics 等與效能相關的 Codex 技能,我們開始覺得自己成了警示與 Codex 之間的中介。警示觸發後,工程師只需將內容複製並貼到 Codex,配合適當的技能使用,再把調查結果貼回 Slack。
5. 自動化調查。接下來,我們將調查工作移至雲端,讓警示可以自動啟動 Codex 工作階段。Codex 會調查效能變慢的問題,並在 Slack 討論串中發佈調查結果,但自動化流程到此便告一段落。工程師仍須接手診斷結果、制定修正方案,並在部署後檢查是否奏效。警示愈積愈多,就連判斷哪些效能退化問題需要處理,也得逐一翻查 Slack 討論串。
6. 工廠。我們建立了 Performance Factory,用來執行端到端的 Agent 式效能工程工作流程。它會追蹤每項進行中任務下一步所需的工作,並在步驟準備就緒時指派 Agent。每項任務都會保留其狀態和調查結果,讓工作可以在 Agent 和工程師之間交接,並在程式碼審查或部署後繼續進行。遇到效能回歸時,工作會由調查警報開始,並以確認服務已在正式環境恢復正常作結。我們可以把常見的最佳化工作轉化為工作流程,定期在各項服務中執行。若某個工作流程發現潛在的最佳化機會,便可在另一個工作流程中建立任務,以進行測試和實作。
Performance Factory 系統的四個部分
Performance Factory 由四個部分組成:可設定工作流程的任務追蹤器、負責指派就緒工作的派發迴圈、在雲端執行 Codex 的 API,以及在情況有變時喚醒 Agent 的訂閲(例如 GitHub 審查留言發佈或部署完成)。

Performance Factory 由任務服務、派發迴圈、雲端執行和訂閲組成。
可設定工作流程的任務服務
工程師可在任務服務中加入設定檔和以 Markdown 編寫的提示詞,為 Agent 定義工作流程及其執行指示。設定檔會列出任務可轉換的狀態、允許的狀態轉換,以及哪些步驟需要工程師參與。另設提示詞則會指示 Agent 在每個步驟要做甚麼。
純文字
1code-change/2├── config.toml3└── work/4 ├── implementing.md5 └── reviewing.md
程式碼變更任務包含一份設定檔,以及用於實作和審查的 Markdown 提示詞。
每項工作都會成為工作流程中的一項任務,而所有工作流程都可在用戶介面中查看。工程師可以查看尚未完成的任務、追蹤進度,並與可能掌握更多背景資訊或能協助處理下一步的同事分享任務。
負責指派工作的派發迴圈
派發迴圈會定期檢查哪些任務已準備好進入下一步。它會按照任務目前狀態的指示,啟動一個 Codex 回合,為每項任務指派 Agent。Agent 會記錄任務進度;如果完成該步驟,便會將任務移至下一個狀態。
在雲端執行 Codex
任務獲指派後,Agent 需要一個可用來工作的地方,並能使用工程師會用到的相同工具。我們建立了內部 API,以便透過程式呼叫在雲端執行 Codex 回合。Codex 回合會在我們網絡內的環境中執行,並可存取我們的程式碼儲存庫,以及工程師使用的可觀測性工具,例如指標、日誌、追蹤資料、CPU 效能分析資料和記憶體快照。
Agent 會以服務身分執行,讓我們可以設定其權限範圍,並查看哪些操作是由效能 Agent 執行。將 Agent 執行的工作移至雲端,讓我們可以平行處理工作,無須依賴工程師的手提電腦保持開啟,也不用手動管理個別的雲端開發環境。
在情況有變時喚醒 Agent 的訂閲
有些工作需要等待人員處理或部署完成;Agent 不應在此期間持續執行。任務需要等待時,可以訂閲 GitHub 合併請求上的審查留言或 CI 檢查失敗等事件,以便在可以繼續處理工作時收到通知。當收到的事件符合訂閲條件,任務便會再次準備就緒,派發迴圈接着可以指派 Agent 繼續工作。
第一個工作流程:由警報到恢復正常
找出效能退化問題、追查根本原因並加以修復,是我們在 Performance Factory 內建立的首個工作流程。我們稱之為 Regression Workflow。效能退化問題會經歷幾個階段:待調查、已找出根本原因、已提出修正方案及已解決,因此我們建立了自動化工作流程,讓任務按相同階段推進。
當其中一項已設定的效能警示觸發時,Regression Workflow 會建立一項任務,由代理程式接手並推進至不同階段。任務會在任何單一代理程式的上下文之外記錄狀態和重要發現,讓其他代理程式或工程師可以接手處理。工程師可以在 Slack 或 Regression Workflow 介面追蹤工作、補充背景資料,以及審閲建議的變更。修正方案部署後,代理程式會檢查效能是否已恢復至原有狀態,然後才將任務標記為已解決。
Performance Factory Regression Workflow
系統偵測到效能退化。代理程式找出原因並提出修正方案。工程師接手並決定推出哪些變更。部署後,代理程式會再次啟動,檢查效能是否恢復。效能仍然退化?返回調查階段。效能仍然退化?返回調查階段。系統偵測到效能退化。
暫停
Z Z
- 已偵測 系統
- 找出根本原因 代理程式
- 提出修正方案 代理程式
- 審閲及部署 工程師
- 驗證效能恢復 代理程式
- 已解決
目前階段:已偵測
Regression Workflow 的步驟包括找出根本原因、提出修正方案、審閲及部署,以及確認效能已恢復。
代理程式找出根本原因
找出根本原因(或多個原因)是工作流程中的首個重要步驟。代理程式首先會確認哪些指標轉差、何時開始變化,以及哪些服務請求受到影響。perf-forensics 技能讓 Codex 可以使用我們效能工程師所用的工具,並提供一套逐步處理這些問題的操作指南。
當指標越過門檻時,警示便會觸發,但效能退化可能早在數小時前已開始。代理程式會回查數據,找出指標首次轉差的時間。接着,代理程式會比較不同請求組別:類似的請求是否真的變慢,還是我們處理了更多本來已經緩慢的請求?這些發現會指向不同原因。
確認要調查的時間和位置後,代理程式會檢視部署記錄和功能旗標的變更,再閲讀相關程式碼。代理程式會確認變更實際影響受影響請求的時間,並利用日誌或追蹤資料測試該程式碼能否解釋所發生的情況。
對抗性審查可強化診斷結果
早期,代理程式有時會停留在第一個看似合理的解釋上,而部分診斷結果後來證實有誤。為了找出這些錯誤,我們加入了對抗性審查:另開一個 Codex 工作階段,嘗試推翻建議的診斷結果。審查者會重新檢查假設,並測試反事實情況。如果某項變更在推出後導致速度變慢,未受該變更影響的類似請求是否仍運作正常?如果已回退疑似變更,受影響的指標是否恢復?
在一次調查中,代理程式將失敗的 ChatGPT 對話追溯至圖片下載錯誤,並標記為已找到原因。Codex 審查者注意到,負責定位檔案的內部服務早已恢復正常,但圖片請求仍然失敗。這項診斷無法解釋持續發生的失敗,因此 AI 審查者重新開啟調查,並記錄仍有待查明的事項。
我們發現,把較大型工作拆分成重點明確的 Codex 回合,效果不錯。在對 100 項根本原因建議進行的人工審查中,我們評定其中 70% 準確,另外 30% 則需要進一步完善,或未能充分確立因果關係。在 Regression Workflow 中,不同回合會分別調查回歸問題、質疑診斷結果及提出修正方案,透過制衡機制提高準確率。
修正回歸問題才是難處
診斷結果通過對抗性審查後,工作流程會要求 Codex 實作修正方案並開啟拉取請求。工程師會審查 PR,並決定是否合併。我們投入了大量工作,務求令這項交接盡可能順暢。每項任務均附有報告,內含自動生成的摘要,涵蓋回歸問題、其影響、根本原因及建議修正方案。我們調整了這些摘要,讓工程師可以快速瀏覽;當中包括指標時間序列、CPU 火焰圖及追蹤資料,協助工程師迅速瞭解調查結果並查閲證據。工程師可以直接編輯 PR,也可以參考診斷結果自行編寫修正方案。如果他們在 PR 留下意見,工作流程便會喚起 Agent 處理。

回歸問題任務報告範例,展示主要詳情、根本原因及建議修正方案。
工程師部署修正方案後,工作流程會喚起 Agent,檢查效能是否已回復至早前的基準水平。如果已回復,Agent 便會將任務標記為已解決。如果效能只部分恢復,Agent 會結束原有的回歸問題任務,並就剩餘的效能下降開啟新任務;剩餘問題可能有不同成因。如果效能沒有改善,Agent 會記錄結果,並將回歸問題送回調查。
找出問題成因比正確修正問題容易。例如,我們發現有些 Agent 建議的修改比必要的更複雜,或會引入新問題。與根本原因分析步驟一樣,我們加入了對每項建議修正方案的對抗性審查,檢查方案是否針對根本原因,並協助發現錯誤或意料之外的後果。有些修正方案亦涉及較高層次的架構決策。例如,新增快取或可提升效能,但亦可能導致資料過時。這類修改需要熟悉服務的工程師提供指引,並權衡利弊。
我們正利用這些案例建立評估及改進循環。透過比較 Agent 建議的修正方案與工程師最終合併的修改,我們可以更深入瞭解建議方案的不足之處、建立評估項目,並改進工作流程。我們亦正研究使用合成效能測試,讓 Agent 可以量度建議修正方案的效果,並在交由工程師審查前作出調整。我們也在探索 Agent 如何運用其他 Agent 審查工具,找出低風險修改,並最終在無需人手介入的情況下發布這些修正方案。
我們的經驗
建立及運作 Performance Factory,讓我們對如何在正式環境中開發及運作 Agent 工作流程有了不少體會。以下是一些可供建立自有 Agent 工作流程的團隊參考的經驗。
保護工程師的專注力
Codex 調查輸出的原始內容可能是一大段難以理解的文字。要弄清楚 Agent 提出的説法,並找出圖表以確認數據是否支持這些説法,都需要花費不少精力。我們希望工程師把專注力放在作出決策,而不是還原 Agent 的工作過程。
Agent 能調查的回歸問題,可能多到團隊沒有時間逐一閲讀。我們的第一個版本為工程師提供了滿載調查結果的介面,但仍要有人判斷哪些資訊重要。同一個回歸問題亦可能在警報、監控工具和頻道中以多宗事故的形式出現。現在,工作流程會連結相關事故,按團隊關注的指標將它們分組,並按預計影響排序。工程師可以專注於補充背景資料、權衡取捨,以及決定要推出哪些內容。
評估 Agent 的變更
更新調查技能或升級模型,可能令 Agent 在診斷某些個案時表現更好,卻在其他個案中表現更差,因此我們需要在更新前測試其影響。我們會分開測試兩方面:1) Agent 的調查能力,以及 2) 摘要對工程師有多大幫助。
評估調查表現
評估調查表現時,我們會以過往的正式環境事故進行回測。我們會把這些事故整理成一套測試案例,更新技能時可以重新執行。Codex Agent 會嘗試調查並解決事故,我們則會將 Agent 的行為與實際過往的解決資料比較。每個案例都會由全新的 Codex 調查 Agent 開始,並提供原始訊號,同時移除可能洩露答案的細節。
歷史測試需要審慎處理。指標和追蹤資料會過期,而復原後收集的證據亦可能洩露原因。只有瞭解調查 Agent 能看到哪些證據,測試才有用。Agent 可以在指定限制內檢視程式碼和查詢正式環境遙測資料,但不能使用已儲存的記憶(先前調查的筆記)、閲讀事故報告,或查看之前執行的結果。我們亦會在事後檢查 Agent 的對話記錄,查看有沒有可能令測試答案曝光的資訊。
我們會評分問題開始的時間、影響範圍,以及受影響的請求。我們亦會評估 Agent 如何運用證據排列可能原因的優先次序,並解釋哪些部分仍未確定。Agent 可能準確判斷時間,卻歸咎於錯誤的部署,因此我們會分開評分。
評估 Agent 與工程師之間的交接
我們會使用已儲存任務的快照評估任務摘要。這些快照特別適合用來回測,因為摘要工作不依賴會過期的外部指標或追蹤資料。獨立評分器會檢查不熟悉系統的工程師能否理解發生了甚麼事及其重要性、有用的圖表是否保留,以及建議的下一步是否有證據支持。
將重複故障轉化為自我修復
最後,我們的 Agent 和它們調查的服務一樣,都需要監控。效能分析器故障或缺少權限,都可能令 Agent 無法確認導致速度變慢的原因。這些故障可能難以從最終報告中察覺,因此我們每天都會執行一個 Agent,檢查近期執行的訊息和記錄,找出工具故障和存取錯誤。
我們使用 Performance Factory 進行自我修復,並修正這項檢查發現的問題。同一工具錯誤若阻礙多宗調查,Agent 便會建立修復任務。如果原因明確,Agent 會提出修正方案,由工程師審核變更,並決定是否合併。合併這類變更後,我們亦會使用評估檢查 Agent 能否通過先前令它們受阻的步驟。
下一步:拓展應用範圍,主動監控
Regression Workflow 只是 Agent 工廠模式的一個例子:這種模式會讓任務經過明確的狀態。準備好進行更多工作時,Agent 會推進任務;不同的審核者會質疑結論;需要作出判斷才能決定下一步時,工程師便會介入。其他工作流程也可以沿用同一套機制,只需採用不同的狀態、指示和事件。
Performance Factory 的 Agent 會處理警報分流、回歸調查和服務監察任務,並隨著工作進展為其他工作流程建立任務。
00:00
從一個工作流程擴展至多個。Performance Factory 可以協調不同工作流程中的 Agent,並由其中一個工作流程的 Agent 為另一個工作流程建立任務。
目前,Regression Workflow 會在警報觸發時啟動。不過,我們正研究更主動的方式,讓 Performance Factory 即使在沒有警報觸發時,也能找出效能下降和最佳化機會。我們希望 Agent 能運用已收集的大量細緻效能數據,找出警報未能捕捉的回歸問題,或發掘最佳化機會。透過比較不同類型的數據(不同版本的 CPU 和記憶體分析資料、堆積傾印及請求追蹤),Agent 可能會留意到某個請求的 CPU 使用量略有上升。接著,它可以在 Regression Workflow 中建立任務,追查上升的原因、實施修正,並提交 PR 供工程師審核。
對於已知道要找甚麼的情況,我們正努力把已知訊號納入更多 Performance Factory 工作流程。例如,我們的服務資源配置調整技能可以協助 Agent 找出令服務運行中的複本數目超出所需的自動擴展設定。當我們學會辨認這類模式後,就希望為所有服務建立並定期執行相關工作流程,在快速變化的環境中持續進行最佳化。透過 Performance Factory,工程師從一次效能下降中學到的經驗,可以影響我們調查和修正下一次問題的方式,即使相隔數月,問題出現在另一項服務也一樣。
下次你使用 ChatGPT 時,如果留意到速度變慢,Performance Factory 很可能已在查明原因。目前,瓶頸可能在於等候工程師審核並合併修正。我們已在探討 Agent 是否可以自行完成這些工作。隨著 Codex 不斷加快產品開發,效能系統也需要變得更自主、更能自我改進,才能跟上步伐。Codex 已協助我們更快地開發 ChatGPT,現在也正協助我們保持 ChatGPT 的速度。
作者
Okay Zed、Cyrus Forbes
鳴謝
特別感謝建立 Performance Factory 的團隊,以及文章貢獻者 Brendan Gregg、Pieter Hooimeijer、Nick Cooper 和 Louis Brandy。
來源:OpenAI News · openai.com