跳到正文
Runway:News(網頁)·· 2 天前精選AI 評分78

Runway 分享如何逐步建成以智能體運作的軟件工廠

Building a Software Factory

AI 導讀

Runway 逐步讓智能體承擔編碼、CI、審查、批准、QA、故障修復及流程協調,打造一條以智能體為主的軟件交付流程。10 月合併的拉取請求中,38% 由雲端智能體推動。核心 API 儲存庫首次批准的等候中位數,由 9 月逾兩小時降至 11 月中約 5 分鐘。

推薦理由

文章逐站交代智能體如何接手編碼、審查、批准、QA、故障修復與協調,並説明以風險分級及量化指標控制交接。

正文 · 繁體中文

目錄

每個月,Agent 編寫的程式碼佔比持續上升,pull request 審查的待辦佇列也因此愈積愈多。審查機械人能找出問題,但每項發現都會令變更退回,進行新一輪審查;到最後,pull request 仍要等待人員核准。

夏季期間,在我們的核心 API 儲存庫中,人手審查的項目有逾三倍比例涉及 Agent 編寫的程式碼,約佔五分之一;等待人手核准的 pull request 數量亦翻倍。

Anthropic 工程師 Felix Rieseberg 的「如何更有抱負」啟發我們向前思考。我們沒有要求 Agent 提交更好的變更,而是測試牠們能否接手軟件交付的每個階段,並在查看測試結果前決定如何評估每次交接。OpenAI 曾介紹在一款從空白儲存庫開始開發的產品上出現類似轉變。

十月,我們合併的 pull request 中有 38% 由雲端 Agent 推動,六月時則只有 0.1%。九月至十一月中旬,首次核准的等待時間中位數由超過兩小時縮短至約五分鐘,而我們每週合併的 pull request 數量增加逾一倍。由 Agent 核准的變更,回退頻率不高於由人員核准的變更。

我們的起點

每個步驟都需要工程師

  1. 1撰寫
  2. 2通過 CI
  3. 3審查
  4. 4核准
  5. 5QA
  6. 6修復故障
  7. 7運作生產線

從任務到正式環境,中間有七項工作。審查是閲讀變更並要求修正;核准則是允許合併的正式簽核。Agent 已經協助完成第一項工作;下文會逐步把下一項工作交給牠們。

年初,工程師選定一項任務,提示 Agent 編寫程式碼並開啟 pull request,然後等待 CI 結果,再把問題交回 Agent 處理。之後,他們還要找同事審查。變更合併後,main 分支可能會出現故障,最先察覺的人必須找出原因,直接修正問題或回退變更。QA 也由人手執行。每個步驟之間的交接都由人員負責,因此 Agent 編寫的變更愈多,工程師承接的工作也愈多。

Agent 身旁有人協助。工程師帶領每項變更通過每個工序,並在 QA 階段以人手測試。審查是最慢的一站:工程師必須找同事,打斷對方手頭的工作並請他過來,而 pull request 就在門口不斷堆積。

步驟 1 · 撰寫並通過 CI

讓 Agent 通過 CI

  1. 1撰寫
  2. 2通過 CI
  3. 3審查
  4. 4核准
  5. 5QA
  6. 6修復故障
  7. 7運作生產線

問題:Agent 編寫變更或許能為我們省下一小時的打字時間,卻會留下整個下午的收尾工作,用來修復不穩定的測試、處理 lint 錯誤、合併衝突及審查意見。

我們打造的服務:一項內部服務,可在雲端執行編碼 Agent,並全程跟進每個拉取請求,直至 CI 通過。你只需交給它一項任務並批准計劃,之後 Agent 便會編寫變更、建立拉取請求、重新執行 CI、修正測試、回覆審查意見,並進行 rebase。

我們如何確認服務有效:服務在第三個月已處理我們 38% 的拉取請求,而且 Agent 也只需極少人手介入。在 11 月上半月合併的 100 個相關拉取請求樣本中,78 個完全沒有人工提交的 commit。

Agent 驅動的每月合併拉取請求數

2026 年。虛線:11 月預測值

Agent 驅動的每月合併拉取請求數:6 月 2 個、7 月 164 個、8 月 268 個、9 月 592 個、10 月 3,130 個、11 月至今 1,912 個,預計全月約 3,200 個。

由 6 月的 2 個,增至每月超過 3,000 個拉取請求。七個程式碼儲存庫。11 月數字按目前每日平均值推算。Agent 驅動的合併佔 10 月所有合併的 38%,以及 11 月至今的 30%。這只是下限:我們只計算可歸因於 Agent 的拉取請求。
同一條路,不用親自走一趟。人手只需把任務交給 Agent 一次,Agent 便會自行完成,直至拉取請求通過。交接次數維持為零,直至審查階段;屆時變更會等候人手處理。

瓶頸移至何處

Agent 產生可供審查的拉取請求,比人手閲讀的速度更快,因此審查成為下一個要交接的環節。

第 2 步 · 審查

讓 Agent 負責審查

  1. ✓撰寫
  2. ✓通過 CI
  3. 3審查
  4. 4批准
  5. 5品質保證
  6. 6修正故障
  7. 7運行整條流水線

問題:我們使用的第三方審查機械人缺乏背景資訊,工程師於是學會快速略過它的意見,但仍會自行閲讀每項變更。

我們打造的工具:一個 AI 審查工具,擁有與編寫程式碼的 Agent 相同的背景資訊,包括計劃、差異內容及周邊程式碼。通常作者是另一個 Agent,因此變更會在編碼 Agent 與 AI 審查工具之間反覆往返,直至沒有問題。

我們如何確認工具有效:在我們的核心 API 儲存庫中,11 月上半月有 93% 的 AI 審查評論討論串獲得解決或促成程式碼修改,高於 9 月的 84%。9 月下旬重建審查工具後,每次審查的成本降至約三分之一,而每週審查量則有所增加。

審查流程會回到程式碼修改環節。AI 審查工具會把有問題的變更送回編碼 Agent,直至變更通過審查。沒有問題的變更仍會排隊等候人手批准。

每週審查的拉取請求數

所有使用 AI 審查的儲存庫

每週審查的拉取請求數由 8 月 10 日當週的 234 個,上升至 11 月 9 日當週的 3,177 個。

核心 API 儲存庫每次審查的成本

指數,以 9 月 7–21 日的平均值 = 100

每次審查的成本指數在 9 月 21 日前維持於 60 至 110 之間,之後由 9 月 28 日起跌至 25 至 37 之間。

每週審查量是 8 月的十倍以上,每次成本約為三分之一。每週數據,8 月 10 日至 11 月 9 日。數量包括 10 月啟用 AI 審查的兩個儲存庫。9 月 28 日當週的成本跌幅,來自重建後的審查工具。

瓶頸移至何處

拉取請求完成 AI 審查後已可合併,但仍要等候數小時才有人按下批准。

第 3 步 · 批准

讓 Agent 負責批准

  1. ✓撰寫
  2. ✓通過 CI
  3. ✓審查
  4. 4核准
  5. 5QA
  6. 6修復故障
  7. 7執行流程

問題:讓 AI 審查員核准拉取請求雖然可以清空待處理佇列,但這代表程式碼合併前沒有人會閲讀。我們需要先證明 AI 核准與工程師的判斷一致,才會採取這一步。

我們的做法:按風險級別核准。由另一個 Agent 為每個拉取請求評定低、中或高風險;不確定時一律向較高風險級別評定,評級則決定誰可以核准。最初,我們讓 AI 自行核准低風險變更;至於中風險變更,則只在儲存庫允許的情況下由 AI 核准。高風險變更交由人員處理,而程式碼負責人仍須核准程式碼庫中的關鍵範疇,例如資料庫遷移、機密資料及驗證。

我們先讓審查員與人員一同核准,並追蹤人員提出異議的頻率。10 月中旬,我們開始只憑 AI 核准便合併拉取請求。9 月和 10 月期間,AI 核准的 977 個拉取請求中,只有 15 個遭人員提出異議,約佔 1.5%;該日期前後的比率大致相同。

低風險

AI 核准只要 AI 核准,便足以合併。

中風險

AI 核准須符合儲存庫設定的上限。特定路徑可以降低上限。

儲存庫上限:預設為中風險

高風險

由人員核准先進行更深入的驗證。

任何風險級別

一律由負責人核准資料庫遷移、CI 和部署設定、機密資料、驗證。

誰核准拉取請求。虛線以下,只要 AI 核准便足以合併。
風險級別決定由誰核准。低風險項目只憑 AI 核准便可通過;儲存庫允許後,中風險項目亦可如此處理;高風險項目則交由人員核准。

我們如何確認成效:首次核准的等候時間中位數,從 9 月的超過兩小時降至 11 月中旬的約五分鐘。在我們的核心 API 儲存庫中,AI 審查的變更約有七成只憑 AI 核准便完成合併。10 月至 11 月期間,所有隻憑 AI 核准而合併的拉取請求中,每 1,000 個只有 1 個被回退;相比之下,由人員核准的拉取請求約每 200 個有 1 個被回退。由於大部分 AI 核准都屬於較不容易被回退的低風險變更,我們按風險級別比較後發現,AI 核准的表現與人工核准相若。

僅憑 AI 核准而合併的已審查拉取請求

核心 API 儲存庫中,每兩週僅憑 AI 核准而合併的已審查拉取請求比例:10 月 5 至 18 日,35%;10 月 19 日至 11 月 1 日,70%;11 月 2 至 15 日,74%;截至目前的 11 月 16 至 18 日,78%。

前後對比:等待核準的時間縮短。每週數據,10 月 5 日至 11 月 9 日。等候時間由「準備好供審查」起計,直至任何審查員首次核准;比較 9 月與 11 月 9 日當週。

瓶頸轉移至何處

在我們的核心 API 儲存庫中,從準備好供審查到合併的時間中位數,從約 11 小時降至不足兩小時,但產品仍由人員手動測試。

第 4 步 · QA

讓 Agents 執行 QA

  1. ✓編寫
  2. ✓通過 CI
  3. ✓審查
  4. ✓核准
  5. 5QA
  6. 6修復故障
  7. 7執行流程

問題:我們推出了一款名為 App Studio 的新產品,但單元測試不足以讓我們建立信心。我們需要一種方法,像一般用戶一樣使用產品:註冊帳戶,並測試所有功能及更改。

我們打造的方案:一個像用戶一樣測試產品的 QA 流程。Agent 會並行操作瀏覽器,測試正式產品,並標示任何運作不如預期的項目。在回報錯誤前,Agent 會先排除自身設定可能引起的問題,再找出導致問題的程式碼。確認的錯誤會成為交由 Agent 修復的工作,然後流程會重新執行相關情境,以作驗證。

我們如何確認方案有效:QA 流程啟用後的首四天,找出 86 個已確認的錯誤,Agent 全部修復。自 11 月初起,每項更改合併前,都必須先在各自的預覽環境中通過驗證測試。

QA 流程啟用後的首四天。只計流程自行發現的錯誤。修復時間計至合併為止,而非部署至正式環境。

瓶頸轉移之處

更多更改合併,意味著 main 出錯的機會增加;而且仍要由工程師找出故障、查明根本原因並還原更改。

第 5 步 · 修復故障

讓 Agent 監察 Main

  1. ✓編寫
  2. ✓通過 CI
  3. ✓審查
  4. ✓批准
  5. ✓QA
  6. 6修復故障
  7. 7運作生產線

問題:在這種數量下,我們不能等待有人發現或報告問題。main 程式碼庫每多一小時處於故障狀態,就有更多更改疊加在故障之上。

我們打造的方案:警示觸發時,Agent 會按一系列步驟處理:重試檢查、診斷故障、套用現有的已知修復方法(如有),如果這些方法都無效,便通知人員介入。我們會在下文進一步介紹的協調器負責執行這些步驟,並在 main 恢復綠燈前暫停自身的合併操作。每次發佈後,我們的發佈系統都會監察正式環境;如果健康檢查失敗,系統便會自動回退該次發佈。

我們如何確認方案有效:啟用後的首兩週,系統收到約 140 個警示。除一個之外,其餘問題都在協調器毋須通知任何人介入的情況下修復;從狀態轉紅到恢復綠燈的時間中位數為 23 分鐘。自動回退機制已在正式環境觸發。

瓶頸轉移之處

現在每個工序都有 Agent,但仍由工程師決定每個 Agent 負責甚麼工作,以及工作次序。

第 6 步 · 運作生產線

讓 Agent 運作工廠

  1. ✓編寫
  2. ✓通過 CI
  3. ✓審查
  4. ✓批准
  5. ✓QA
  6. ✓修復故障
  7. 7運作生產線

問題:工程師是生產線的協調者,負責啟動 Agent、安排合併次序,並照看停滯的執行流程。

我們打造的方案:一個負責運作軟件工廠的協調器。它會讀取問題追蹤系統,向 Agent 分派工作,並安排合併次序。當規則要求人員介入,或某個步驟卡住時,協調器便會請人員處理。

協調器負責運作生產線。工作來自人員提供的規格和警示,已發佈的更改則從另一端產出,沿用之前的相同步驟。當政策規定由人員作決定時,更改便會轉交人員處理,再返回流程。

我們如何確認它有效:我們以建立對 AI 審批的信任的同一套方式,逐步建立對協調器的信任。最初以唯讀模式執行,只追蹤它的決策。在投入正式環境前,由人員在短時間測試中評估它提出的每項操作。協調器上線後的首兩星期內,派發了超過 14,000 項 Agent 任務,涵蓋診斷、規劃、審查和修正,促成約 1,900 個拉取請求。

安全措施。每項措施都針對我們在早期工具或協調器自身測試中遇到的失誤。

瓶頸轉移到哪裏

在規則容許的範圍內,生產線已能自行運作,更多等待時間現時轉移到上游,用來決定開發甚麼,以及回答 Agent 的問題。

生產線目前的情況

各工序目前的情況

進展最快的是 App Studio 背後的程式碼庫。10 月和 11 月在該程式碼庫合併的拉取請求,幾乎全部由 Agent 編寫;10 月當中約七成由我們的 Agent 服務促成。

到 10 月下旬,我們發現主要存放庫每週合併的拉取請求數量,約為 9 月的 2.5 倍。首次審批的等候時間中位數,則由超過兩小時縮短至約五分鐘。

每週合併的拉取請求數量

六個存放庫每週合併的拉取請求數量,以三週移動平均值計算,由 9 月初約 700 個升至 11 月中旬約 2,100 個。

首次審批的等候時間中位數

核心 API 存放庫首次審批的等候時間中位數,以三週移動中位數計算,由 9 月初的 3.7 小時降至 11 月的 5 分鐘。

數量增加一倍以上,等候時間則縮短至數分鐘。三週移動平均值,8月31日至11月9日:統計兩個時期均存在的六個存放庫中的合併數量,以及核心 API 存放庫的等候時間。9 月平均每週合併 929 個拉取請求;10 月中旬起平均每週合併 2,235 個,增至 2.4 倍。等候時間統計任何審批者的審批,包括 AI 審查員在 9 月下旬試行期間作出的審批;當時這些審批尚未計入合併。
工序之前現在
令變更通過由工程師手動處理Agent 推動 30% 至 40% 的合併
審查由人員審查每個拉取請求;核心 API 存放庫每週約 200 個AI 審查每個拉取請求;核心 API 存放庫每週約 1,000 個,六個存放庫合計約 3,000 個。高風險項目仍由人員審批
審批拉取請求首次獲批的等候時間中位數為 2.3 小時等候時間中位數約為五分鐘;經審查的合併中,約七成只憑 AI 審批便可進行
測試產品由人員手動點擊測試Agent 像用戶一樣測試,修正方案合併所需時間的中位數為 4.6 小時
合併後有人發現警示,或收到值班呼叫Agent 會在數秒內回應所有警示,並在有需要時回滾正式環境
協調由工程師負責協調器在首兩星期內安排了 14,000 多項 Agent 任務,開立約 1,900 個拉取請求,並安排了 442 次合併
各工序前後對比。

新的工作

工程師的角色

現在工程師需要閲讀的程式碼差異內容佔比已下降。他們決定要開發甚麼、回答 Agent 有關架構的問題、訂明哪些內容可以推出,以及解決 Agent 遇到阻滯的地方。最後一項工作分為四部分:

  • 找出 Agent 浪費時間之處:我們會找出停滯的執行流程,以及程式碼庫中 Agent 的修改經常需要返工的部分。
  • 移除阻礙因素:我們最大的幾項成果,很多都來自修正存取權限和基礎設施。如果 Agent 無法連接測試環境、取得憑證或使用預覽部署,後續所有工作都會停滯。
  • 讓程式碼庫方便 Agent 使用:我們會整理程式碼庫,讓 Agent 更容易掌握結構;為已遇到的故障撰寫操作指南,並建立更完善的模式和核心繫統,讓 Agent 能安全使用。
  • 確保衡量標準客觀:我們會先決定如何評估每個工站,再查看評估結果。
在工廠中工作。Agent 會把每項修改逐一帶過各個工站。工程師則改善工站之間的流程:修整不順暢的部分、清除阻礙,並加入檢查,找出遺漏的問題。看着已交付項目數隨之上升。

為了找出 Agent 浪費時間之處,我們建立了一項工具,根據 AI Agent 每個拉取請求的記錄衡量阻力,包括實作修改所需的時間、審核者發現多少問題及問題有多嚴重、Agent 修正後問題是否再次出現,以及一項修改要多久才不再出現問題。工具會將程式碼庫各個部分與同等規模拉取請求的常見情況比較,並以地圖呈現結果,讓 Agent 最吃力的部分一目瞭然。

按阻力程度繪製程式碼庫地圖

每個區域、資料夾和檔案都會按 Agent 修改所需的審核工作量以不同深淺標示。熱點會獲得針對性的修正。

插圖:程式碼庫以樹狀圖呈現,由區域延伸至資料夾,再至檔案;各項按審核阻力以不同深淺標示。大部分分支顏色較淺,三個熱點則顏色較深並附有編號。

  1. Cleanup

    Agent 不斷重新實作已有的輔助函式。重新使用現有函式、刪除無用副本,並在 CI 加入重用檢查。

  2. Documentation

    審核不斷指出同一項慣例問題。在 Agent 開始工作前會查看的位置把慣例記錄下來。

  3. Guardrail

    每次修正後,同一個競態條件都會再次出現。用測試將問題鎖定,避免再次發生。

示意圖。地圖會自動繪製,並將每個區域與同等規模拉取請求的常見情況比較。地圖指出清理、文件或防護措施能發揮成效之處,而每項修正都會持續追蹤,以確認阻力是否維持在較低水平。

地圖上的每個區域都附有一份 Agent 可據以行動的簡要説明,列出證據、可能原因、範圍明確的修改,以及能防止問題重現的測試。在我們首次清理一個內部服務時,23 個拉取請求重用了現有輔助函式、移除了無用程式碼,並在 CI 加入重用檢查;修改過的檔案中,重複程式碼行數減少了 16%。

接下來

將軟件交付自動化,會把瓶頸推向上游,轉為首先決定要開發甚麼。我們的長遠目標是建立一個系統,只要輸入對預期成果的描述,系統便能將成果交付;在需要人類判斷的指定環節,再由人員介入。

如果你想協助打造下一座工廠,我們正在招聘。

來源:Runway:News(網頁) · runway.com