Codex 在 OpenAI 以約 200 字提示詞修復 CI 測試逾 1,000 小時:支撐運作的 5 項設定決策
Codex fixed CI at OpenAI for 1,000 hours on a 200-word prompt: 5 config decisions that held it together
OpenAI 工程加速團隊一名工程師在 DevDay 分享,Codex 以約 200 字、沒有程式碼的提示詞,連續六週處理失敗的 CI 測試,累計運行逾 1,000 小時。
文章將長時間 CI 修復任務中的提示詞、權限邊界、自我驗證和資源限制整理成五項配置,呈現可複用的 Agent 工作方法。
在 OpenAI 的 DevDay 上,工程加速團隊一名工程師談到一次 Codex 執行:它花了六星期處理 CI 中失敗的測試,累計超過 1,000 小時。它每週提交超過 100 個 pull request,推送超過 1,000 個 commit,合併了 213 項自行修正的問題,並傳送超過 600 則 Slack 訊息,與人類協調合併工作(Codex Insider 整理了完整的會議內容)。
我看過很多公開分享的 Agent 執行紀錄。這次值得特別留意,原因只有一個:起始提示詞約 200 字,而且沒有包含程式碼。
提示詞縮短,設定內容增加
提示詞告訴 Agent 要處理哪個 repo,讓它自行摸索如何執行完整測試套件,並訂下傳訊息給同事和使用 CI 資源的規則。就是這樣,沒有程式碼範例、沒有函式庫選擇,也沒有逐步計劃。
講者提到的對比令我一直在想。去年做類似工作時,同類提示詞長得足以分成多張投影片,當中包括程式碼、函式庫選擇,以及一份必須由人類在工作開始前審核的計劃。今年,計劃完全移出了提示詞;這次執行只靠目標和界限,就持續了六星期。
這跟我自己的 Agent 工作經驗相符。提示詞是一段對話,既脆弱,也很容易塞得過滿。300 行指令上限之所以存在,是因為你塞進提示詞的每項內容,都會跟其他內容爭奪空間。目標描述加上明確界限,就是足以引導長期工作的最精簡提示詞。
決策 1:每條對話串只設定一個目標
OpenAI 開發者體驗團隊的建議很直接:每個目標各自使用一條對話串。以「修復這個 repo 中失敗的測試」為目標的對話串,可以連續數星期保持連貫;一條對話串若同時處理五件不同的事,很快就會失去條理。
/goal 機制正是為此而設。它會指示 Codex 持續工作,直至完成指定任務,而不是每完成一項工作便停下來等候下一個指示。
決策 2:規則寫在 AGENTS.md,而不是提示詞
會議中提到一個 AGENTS.md 檔案,列明測試所在位置、Agent 可做的事、禁止事項,以及一項長期要求:記錄已完成的工作和仍待探索的事項。大致格式如下:
# CI repair agent
## Where things are
- Test suite: `./scripts/run_all_tests.sh` (figured out, verify before trusting)
- Failing test report: CI dashboard, nightly job
## Allowed
- Fix test logic and product code behind a failing test
- Open PRs, one per fix
- Message the test owner in #ci-triage before touching their suite
## Off-limits
- Never delete or skip a test to make it pass
- Never force-merge; a human merges
- Max 3 concurrent CI jobs at a time
## Notes
- Append what you tried, what worked, what is left to explore
先説清楚,檔案中的措辭是我自行編寫的。會議只提到檔案包含哪些內容。不過,這些類別與長期運作的 Agent 實際需要的內容一致:指引、權限、禁止事項,以及記錄習慣。
禁止事項一節最為關鍵。Agent 遇到過刪除失敗測試看似是有效修正的情況;當時的規則是,先啟動第二個 Agent 審查刪除操作,再讓人類查看。遇到 GPU 測試中一個非決定性的浮點數錯誤時,它也採取同樣做法:追查至一個特定節點,讓自己學會在該節點重新執行測試,然後詢問負責的研究人員,確認該節點是硬件故障還是真正的程式錯誤。這類界限令一場 1,000 小時的執行得以持續運作,而不至於變成收拾殘局的工程。
決策 3:Agent 有自己的驗證機制
每項修正都透過它要修復的測試來檢查。Agent 執行測試、推送變更,再由 CI 確認。講者的一般建議是,讓 Agent 有方法檢查自己的工作,例如可在自身基礎架構上執行的端對端測試,因為模型自行回報成功並不構成證據。
這是大多數團隊都會略過的決策。他們把錯誤報告交給 Agent,然後接受它對修正方案的摘要。為期六週的執行之所以奏效,是因為回饋迴路不經任何人的主觀判斷。
決策 4:架構是逐步發現的,而非事先規劃的
執行一開始是在 Sol 模型上使用單一執行緒。約四天後,工程師才讓它把耗時的工作交給子 Agent。從那時起,主執行緒負責觸發測試、收集失敗結果和與人溝通;子 Agent 則提取程式碼、各自修正一項失敗,然後把修改推回 CI。
規模數字顯示了時間花在哪裏:工具呼叫略少於 50 萬次、子 Agent 工作階段超過 5,800 次,而純粹等待 CI 的呼叫超過 67,000 次。等待 CI 佔全部活動超過八分之一。瓶頸不在模型,而在它周圍的環境。
執行緒使用內置壓縮功能運行了三個月,沒有額外設定。如果你想知道模型在這種時間跨度中會保留和失去甚麼,我們測試了壓縮後會保留甚麼,結果是保留下來的內容比你期望的少,這又是支持前述記錄筆記習慣的一個理由。
決策 5:支出上限由環境而非信任決定
工程師從 API 定價倒推這次執行的成本:為期六週的執行每小時約 $32,使用 GPT-6 Sol 時降至每小時 $16,此外還要計入程式碼審查和 CI 資源。真正重要的上限,是同時可執行的 CI 工作數量。這不是信任設定,而是資源設定。
這是正確的思路。你無法監督 1,000 小時,但可以把環境限制得夠小,讓無人監督時犯錯的代價很低。
我會從這次執行中借鑑甚麼
選擇耗時、而非需要審美判斷的任務。提供一個 Agent 可自行執行的驗證工具。把限制寫入檔案,讓它們在每次壓縮和每個新執行緒中都能保留下來。準備在第一週真正的瓶頸出現時調整架構。並透過環境限制出錯的影響範圍:同時執行的工作數、PR 權限,以及哪些人可以合併。
由單一負責人長時間執行,是 Agent 工作的一種模式。本月出現的另一種模式是團隊規模協作,多人的 Agent 共用同一個上下文層,例如 Cursor 的多人協作 Projects。兩種模式都依賴相同的基礎:簡短提示詞、嚴格界限,以及專屬驗證工具。200 字提示詞並沒有令這次執行變得安全,真正起作用的是周邊的架構。
來源:DEV Community · dev.to