Runway 分享如何逐步建成以智能體運作的軟件工廠
Building a Software Factory
Runway 逐步讓智能體承擔編碼、CI、審查、批准、QA、故障修復及流程協調,打造一條以智能體為主的軟件交付流程。10 月合併的拉取請求中,38% 由雲端智能體推動。核心 API 儲存庫首次批准的等候中位數,由 9 月逾兩小時降至 11 月中約 5 分鐘。
文章逐站交代智能體如何接手編碼、審查、批准、QA、故障修復與協調,並説明以風險分級及量化指標控制交接。
目錄
- 每個步驟都需要工程師
- 讓 Agent 通過 CI
- 讓 Agent 進行審查
- 讓 Agent 核准
- 讓 Agent 執行 QA
- 讓 Agent 監察 main
- 讓 Agent 管理整條生產線
- 各工序現況
- 工程師的角色
- 下一步
每個月,Agent 編寫的程式碼佔比持續上升,pull request 審查的待辦佇列也因此愈積愈多。審查機械人能找出問題,但每項發現都會令變更退回,進行新一輪審查;到最後,pull request 仍要等待人員核准。
夏季期間,在我們的核心 API 儲存庫中,人手審查的項目有逾三倍比例涉及 Agent 編寫的程式碼,約佔五分之一;等待人手核准的 pull request 數量亦翻倍。
Anthropic 工程師 Felix Rieseberg 的「如何更有抱負」啟發我們向前思考。我們沒有要求 Agent 提交更好的變更,而是測試牠們能否接手軟件交付的每個階段,並在查看測試結果前決定如何評估每次交接。OpenAI 曾介紹在一款從空白儲存庫開始開發的產品上出現類似轉變。
十月,我們合併的 pull request 中有 38% 由雲端 Agent 推動,六月時則只有 0.1%。九月至十一月中旬,首次核准的等待時間中位數由超過兩小時縮短至約五分鐘,而我們每週合併的 pull request 數量增加逾一倍。由 Agent 核准的變更,回退頻率不高於由人員核准的變更。
我們的起點
每個步驟都需要工程師
- 1撰寫
- 2通過 CI
- 3審查
- 4核准
- 5QA
- 6修復故障
- 7運作生產線
從任務到正式環境,中間有七項工作。審查是閲讀變更並要求修正;核准則是允許合併的正式簽核。Agent 已經協助完成第一項工作;下文會逐步把下一項工作交給牠們。
年初,工程師選定一項任務,提示 Agent 編寫程式碼並開啟 pull request,然後等待 CI 結果,再把問題交回 Agent 處理。之後,他們還要找同事審查。變更合併後,main 分支可能會出現故障,最先察覺的人必須找出原因,直接修正問題或回退變更。QA 也由人手執行。每個步驟之間的交接都由人員負責,因此 Agent 編寫的變更愈多,工程師承接的工作也愈多。
步驟 1 · 撰寫並通過 CI
讓 Agent 通過 CI
- 1撰寫
- 2通過 CI
- 3審查
- 4核准
- 5QA
- 6修復故障
- 7運作生產線
問題:Agent 編寫變更或許能為我們省下一小時的打字時間,卻會留下整個下午的收尾工作,用來修復不穩定的測試、處理 lint 錯誤、合併衝突及審查意見。
我們打造的服務:一項內部服務,可在雲端執行編碼 Agent,並全程跟進每個拉取請求,直至 CI 通過。你只需交給它一項任務並批准計劃,之後 Agent 便會編寫變更、建立拉取請求、重新執行 CI、修正測試、回覆審查意見,並進行 rebase。
我們如何確認服務有效:服務在第三個月已處理我們 38% 的拉取請求,而且 Agent 也只需極少人手介入。在 11 月上半月合併的 100 個相關拉取請求樣本中,78 個完全沒有人工提交的 commit。
Agent 驅動的每月合併拉取請求數
2026 年。虛線:11 月預測值
Agent 驅動的每月合併拉取請求數:6 月 2 個、7 月 164 個、8 月 268 個、9 月 592 個、10 月 3,130 個、11 月至今 1,912 個,預計全月約 3,200 個。
瓶頸移至何處
Agent 產生可供審查的拉取請求,比人手閲讀的速度更快,因此審查成為下一個要交接的環節。
第 2 步 · 審查
讓 Agent 負責審查
- ✓撰寫
- ✓通過 CI
- 3審查
- 4批准
- 5品質保證
- 6修正故障
- 7運行整條流水線
問題:我們使用的第三方審查機械人缺乏背景資訊,工程師於是學會快速略過它的意見,但仍會自行閲讀每項變更。
我們打造的工具:一個 AI 審查工具,擁有與編寫程式碼的 Agent 相同的背景資訊,包括計劃、差異內容及周邊程式碼。通常作者是另一個 Agent,因此變更會在編碼 Agent 與 AI 審查工具之間反覆往返,直至沒有問題。
我們如何確認工具有效:在我們的核心 API 儲存庫中,11 月上半月有 93% 的 AI 審查評論討論串獲得解決或促成程式碼修改,高於 9 月的 84%。9 月下旬重建審查工具後,每次審查的成本降至約三分之一,而每週審查量則有所增加。
每週審查的拉取請求數
所有使用 AI 審查的儲存庫
每週審查的拉取請求數由 8 月 10 日當週的 234 個,上升至 11 月 9 日當週的 3,177 個。
核心 API 儲存庫每次審查的成本
指數,以 9 月 7–21 日的平均值 = 100
每次審查的成本指數在 9 月 21 日前維持於 60 至 110 之間,之後由 9 月 28 日起跌至 25 至 37 之間。
瓶頸移至何處
拉取請求完成 AI 審查後已可合併,但仍要等候數小時才有人按下批准。
第 3 步 · 批准
讓 Agent 負責批准
- ✓撰寫
- ✓通過 CI
- ✓審查
- 4核准
- 5QA
- 6修復故障
- 7執行流程
問題:讓 AI 審查員核准拉取請求雖然可以清空待處理佇列,但這代表程式碼合併前沒有人會閲讀。我們需要先證明 AI 核准與工程師的判斷一致,才會採取這一步。
我們的做法:按風險級別核准。由另一個 Agent 為每個拉取請求評定低、中或高風險;不確定時一律向較高風險級別評定,評級則決定誰可以核准。最初,我們讓 AI 自行核准低風險變更;至於中風險變更,則只在儲存庫允許的情況下由 AI 核准。高風險變更交由人員處理,而程式碼負責人仍須核准程式碼庫中的關鍵範疇,例如資料庫遷移、機密資料及驗證。
我們先讓審查員與人員一同核准,並追蹤人員提出異議的頻率。10 月中旬,我們開始只憑 AI 核准便合併拉取請求。9 月和 10 月期間,AI 核准的 977 個拉取請求中,只有 15 個遭人員提出異議,約佔 1.5%;該日期前後的比率大致相同。
低風險
AI 核准只要 AI 核准,便足以合併。
中風險
AI 核准須符合儲存庫設定的上限。特定路徑可以降低上限。
儲存庫上限:預設為中風險
高風險
由人員核准先進行更深入的驗證。
任何風險級別
一律由負責人核准資料庫遷移、CI 和部署設定、機密資料、驗證。
我們如何確認成效:首次核准的等候時間中位數,從 9 月的超過兩小時降至 11 月中旬的約五分鐘。在我們的核心 API 儲存庫中,AI 審查的變更約有七成只憑 AI 核准便完成合併。10 月至 11 月期間,所有隻憑 AI 核准而合併的拉取請求中,每 1,000 個只有 1 個被回退;相比之下,由人員核准的拉取請求約每 200 個有 1 個被回退。由於大部分 AI 核准都屬於較不容易被回退的低風險變更,我們按風險級別比較後發現,AI 核准的表現與人工核准相若。
僅憑 AI 核准而合併的已審查拉取請求
核心 API 儲存庫中,每兩週僅憑 AI 核准而合併的已審查拉取請求比例:10 月 5 至 18 日,35%;10 月 19 日至 11 月 1 日,70%;11 月 2 至 15 日,74%;截至目前的 11 月 16 至 18 日,78%。
瓶頸轉移至何處
在我們的核心 API 儲存庫中,從準備好供審查到合併的時間中位數,從約 11 小時降至不足兩小時,但產品仍由人員手動測試。
第 4 步 · QA
讓 Agents 執行 QA
- ✓編寫
- ✓通過 CI
- ✓審查
- ✓核准
- 5QA
- 6修復故障
- 7執行流程
問題:我們推出了一款名為 App Studio 的新產品,但單元測試不足以讓我們建立信心。我們需要一種方法,像一般用戶一樣使用產品:註冊帳戶,並測試所有功能及更改。
我們打造的方案:一個像用戶一樣測試產品的 QA 流程。Agent 會並行操作瀏覽器,測試正式產品,並標示任何運作不如預期的項目。在回報錯誤前,Agent 會先排除自身設定可能引起的問題,再找出導致問題的程式碼。確認的錯誤會成為交由 Agent 修復的工作,然後流程會重新執行相關情境,以作驗證。
我們如何確認方案有效:QA 流程啟用後的首四天,找出 86 個已確認的錯誤,Agent 全部修復。自 11 月初起,每項更改合併前,都必須先在各自的預覽環境中通過驗證測試。
瓶頸轉移之處
更多更改合併,意味著 main 出錯的機會增加;而且仍要由工程師找出故障、查明根本原因並還原更改。
第 5 步 · 修復故障
讓 Agent 監察 Main
- ✓編寫
- ✓通過 CI
- ✓審查
- ✓批准
- ✓QA
- 6修復故障
- 7運作生產線
問題:在這種數量下,我們不能等待有人發現或報告問題。main 程式碼庫每多一小時處於故障狀態,就有更多更改疊加在故障之上。
我們打造的方案:警示觸發時,Agent 會按一系列步驟處理:重試檢查、診斷故障、套用現有的已知修復方法(如有),如果這些方法都無效,便通知人員介入。我們會在下文進一步介紹的協調器負責執行這些步驟,並在 main 恢復綠燈前暫停自身的合併操作。每次發佈後,我們的發佈系統都會監察正式環境;如果健康檢查失敗,系統便會自動回退該次發佈。
我們如何確認方案有效:啟用後的首兩週,系統收到約 140 個警示。除一個之外,其餘問題都在協調器毋須通知任何人介入的情況下修復;從狀態轉紅到恢復綠燈的時間中位數為 23 分鐘。自動回退機制已在正式環境觸發。
瓶頸轉移之處
現在每個工序都有 Agent,但仍由工程師決定每個 Agent 負責甚麼工作,以及工作次序。
第 6 步 · 運作生產線
讓 Agent 運作工廠
- ✓編寫
- ✓通過 CI
- ✓審查
- ✓批准
- ✓QA
- ✓修復故障
- 7運作生產線
問題:工程師是生產線的協調者,負責啟動 Agent、安排合併次序,並照看停滯的執行流程。
我們打造的方案:一個負責運作軟件工廠的協調器。它會讀取問題追蹤系統,向 Agent 分派工作,並安排合併次序。當規則要求人員介入,或某個步驟卡住時,協調器便會請人員處理。
我們如何確認它有效:我們以建立對 AI 審批的信任的同一套方式,逐步建立對協調器的信任。最初以唯讀模式執行,只追蹤它的決策。在投入正式環境前,由人員在短時間測試中評估它提出的每項操作。協調器上線後的首兩星期內,派發了超過 14,000 項 Agent 任務,涵蓋診斷、規劃、審查和修正,促成約 1,900 個拉取請求。
瓶頸轉移到哪裏
在規則容許的範圍內,生產線已能自行運作,更多等待時間現時轉移到上游,用來決定開發甚麼,以及回答 Agent 的問題。
生產線目前的情況
各工序目前的情況
進展最快的是 App Studio 背後的程式碼庫。10 月和 11 月在該程式碼庫合併的拉取請求,幾乎全部由 Agent 編寫;10 月當中約七成由我們的 Agent 服務促成。
到 10 月下旬,我們發現主要存放庫每週合併的拉取請求數量,約為 9 月的 2.5 倍。首次審批的等候時間中位數,則由超過兩小時縮短至約五分鐘。
每週合併的拉取請求數量
六個存放庫每週合併的拉取請求數量,以三週移動平均值計算,由 9 月初約 700 個升至 11 月中旬約 2,100 個。
首次審批的等候時間中位數
核心 API 存放庫首次審批的等候時間中位數,以三週移動中位數計算,由 9 月初的 3.7 小時降至 11 月的 5 分鐘。
| 工序 | 之前 | 現在 |
|---|---|---|
| 令變更通過 | 由工程師手動處理 | Agent 推動 30% 至 40% 的合併 |
| 審查 | 由人員審查每個拉取請求;核心 API 存放庫每週約 200 個 | AI 審查每個拉取請求;核心 API 存放庫每週約 1,000 個,六個存放庫合計約 3,000 個。高風險項目仍由人員審批 |
| 審批 | 拉取請求首次獲批的等候時間中位數為 2.3 小時 | 等候時間中位數約為五分鐘;經審查的合併中,約七成只憑 AI 審批便可進行 |
| 測試產品 | 由人員手動點擊測試 | Agent 像用戶一樣測試,修正方案合併所需時間的中位數為 4.6 小時 |
| 合併後 | 有人發現警示,或收到值班呼叫 | Agent 會在數秒內回應所有警示,並在有需要時回滾正式環境 |
| 協調 | 由工程師負責 | 協調器在首兩星期內安排了 14,000 多項 Agent 任務,開立約 1,900 個拉取請求,並安排了 442 次合併 |
新的工作
工程師的角色
現在工程師需要閲讀的程式碼差異內容佔比已下降。他們決定要開發甚麼、回答 Agent 有關架構的問題、訂明哪些內容可以推出,以及解決 Agent 遇到阻滯的地方。最後一項工作分為四部分:
- 找出 Agent 浪費時間之處:我們會找出停滯的執行流程,以及程式碼庫中 Agent 的修改經常需要返工的部分。
- 移除阻礙因素:我們最大的幾項成果,很多都來自修正存取權限和基礎設施。如果 Agent 無法連接測試環境、取得憑證或使用預覽部署,後續所有工作都會停滯。
- 讓程式碼庫方便 Agent 使用:我們會整理程式碼庫,讓 Agent 更容易掌握結構;為已遇到的故障撰寫操作指南,並建立更完善的模式和核心繫統,讓 Agent 能安全使用。
- 確保衡量標準客觀:我們會先決定如何評估每個工站,再查看評估結果。
為了找出 Agent 浪費時間之處,我們建立了一項工具,根據 AI Agent 每個拉取請求的記錄衡量阻力,包括實作修改所需的時間、審核者發現多少問題及問題有多嚴重、Agent 修正後問題是否再次出現,以及一項修改要多久才不再出現問題。工具會將程式碼庫各個部分與同等規模拉取請求的常見情況比較,並以地圖呈現結果,讓 Agent 最吃力的部分一目瞭然。
按阻力程度繪製程式碼庫地圖
每個區域、資料夾和檔案都會按 Agent 修改所需的審核工作量以不同深淺標示。熱點會獲得針對性的修正。
插圖:程式碼庫以樹狀圖呈現,由區域延伸至資料夾,再至檔案;各項按審核阻力以不同深淺標示。大部分分支顏色較淺,三個熱點則顏色較深並附有編號。
- Cleanup
Agent 不斷重新實作已有的輔助函式。重新使用現有函式、刪除無用副本,並在 CI 加入重用檢查。
- Documentation
審核不斷指出同一項慣例問題。在 Agent 開始工作前會查看的位置把慣例記錄下來。
- Guardrail
每次修正後,同一個競態條件都會再次出現。用測試將問題鎖定,避免再次發生。
地圖上的每個區域都附有一份 Agent 可據以行動的簡要説明,列出證據、可能原因、範圍明確的修改,以及能防止問題重現的測試。在我們首次清理一個內部服務時,23 個拉取請求重用了現有輔助函式、移除了無用程式碼,並在 CI 加入重用檢查;修改過的檔案中,重複程式碼行數減少了 16%。
接下來
將軟件交付自動化,會把瓶頸推向上游,轉為首先決定要開發甚麼。我們的長遠目標是建立一個系統,只要輸入對預期成果的描述,系統便能將成果交付;在需要人類判斷的指定環節,再由人員介入。
如果你想協助打造下一座工廠,我們正在招聘。
來源:Runway:News(網頁) · runway.com