Project HydraFusion 以多模型編排提供前沿級品質
Project HydraFusion: Frontier quality via multi-model orchestration
GitHub 推出 Project HydraFusion 研究預覽,以執行時多模型編排為編碼任務動態規劃模型工作流程。它會從不同供應商的模型中選擇 Single、Cascade 或 Critique 工作流程;所有 GitHub Copilot 方案用户可在 Copilot CLI 執行 `/experimental`,再執行 `/model` 選用 HydraFusion。
三項離線編碼基準呈現 HydraFusion 不同的品質與成本取捨,與 Claude Opus 5 的對照能幫助理解多模型編排在不同任務上的效益差異。
一直以來,我們的目標都是為開發者提供最適合當前任務的模型。今年稍早,我們推出自動模型選擇,檢視你的任務並配對最適合的模型,令這件事更容易。
今天,我們推出 Project HydraFusion 研究預覽版,透過執行時編排提供前沿級智能。它會制定完整執行計劃,從多個供應商的模型中作選擇,以起草、評論和修訂,或升級至更強大的模型來完成任務。
HydraFusion 在我們的整體策略中擔當重要角色,目標是在本機、雲端和複合模型之間進行自動語義路由。對開發者而言,複雜性留在幕後:你像選擇其他模型一樣選擇 HydraFusion,它便會為每項任務挑選平衡效能、成本和延遲的工作流程。
現已推出研究預覽版
所有 GitHub Copilot 方案的用戶均可透過 /experimental 在 GitHub Copilot CLI 使用 HydraFusion。費用按 HydraFusion 使用的模型所消耗 token 計算,並依照各模型的標準費率收費。
在 Copilot CLI 試用 HydraFusion:
- 執行
/update安裝最新版本 - 執行
/experimental on - 執行
/model,然後選取HydraFusion (Research Preview)
請在GitHub 社羣發表意見。
HydraFusion 把工作流程選擇視為最佳化問題。它運用推理、程式碼生成、除錯和工具使用等能力指標,選擇最有效率的執行模式,以達到品質要求。
目前 HydraFusion 會為每項請求選擇以下三種執行模式之一:
- 單一模型。由一個選定模型直接完成任務。
- 級聯。由高效率模型先起草解決方案,再由品質關卡決定接受結果,或升級至更強大的模型。
- 評論。 一個模型先起草結果,再由不同模型家族的獨立唯讀評論模型審閲(採用與 Rubber Duck 相同的審閲模式),最後由起草模型修訂一次。

每種模式都對應不同的品質與成本取捨。若單一模型能直接完成任務,單一模型可保留速度和效率。級聯讓高效率模型先嘗試,若候選結果未達接受門檻,則仍可升級至更強推理能力。對於審閲比再次自行嘗試更有用的任務,評論則加入獨立觀點。
在三項代理式程式編碼基準測試的離線評估中,HydraFusion 一直維持前沿級品質,並大幅節省估算成本。在 TerminalBench 2.1 上,與 Claude Opus 5 相比,已驗證任務品質提高 4.9 個百分點,估算成本則降低 67%。
以下深入介紹方法、結果和基準測試。
自適應多模型編排
開發者早已會手動協調模型:為任務選擇一個模型、請另一個模型審閲工作,或把難題升級至能力更強的模型。HydraFusion 把這個熟悉的流程帶進執行時。你只需選擇一次 HydraFusion,便可專注處理任務,其餘模型和工作流程都由它在幕後管理。
關鍵在於有選擇地使用模型。有些程式編碼任務可直接解決,另一些則適合經過審閲、修訂或升級處理。HydraFusion 會評估每項請求,選擇預期能達到要求且最不複雜的工作流程,只在可能改善結果時才增加模型呼叫。這種自適應方式可在不同模型之間平衡品質、成本和延遲。
隨着模型能力持續進步,HydraFusion 亦會演進。GitHub Copilot 有新模型可用時,我們便能評估並納入其模型池,讓它們的優勢用於最適合的任務。
建構 HydraFusion
要把自適應多模型編排轉化為可靠的編碼體驗,需要仔細控制執行、審閲、成本和儲存庫狀態。HydraFusion 建基於五項運作原則:
- 完整計算。彙總工作流程每個環節的成本和用量,包括起草、評論、修訂、升級、重試和後備方案。
- 有界執行。為每個環節明確設定逾時和取消行為,將執行時間與成本控制在指定範圍內。
- 隔離審閲。在隔離且無工具的上下文中執行審閲步驟;解題步驟則使用共享工作區和一般遵循權限的代理循環。這讓模型可以獨立評估工作,而不會修改儲存庫。
- 故障安全套用。若工作流程取消或驗證失敗,便不套用任何修補程式,防止未完成的變更進入儲存庫。
- 已驗證路由。在執行開始前,驗證工作流程定義、模型綁定、後備行為和模型可用性。
這些原則共同令多模型編排可實際用於儲存庫層級的工作。執行時會在內部記錄每個環節的角色、結果、成本、延遲和診斷資料,方便事後瞭解工作流程。對外則只向開發者提供一致的回應和一組遵循權限的變更。
展示進度,但不呈現未完成的工作
- 目前: HydraFusion 會顯示工作流程階段,但暫存中間草稿,直至整理成一個完整結果後才返回。
- 原因: 這些草稿可能會被審閲、修訂或棄用,因此即時顯示可能令人誤以為未完成的工作已是最終結果。
- 我們正在瞭解: 等待期間缺乏足夠資訊,對開發者而言確實有所取捨。
- 下一步: 我們正積極探索更佳的進度更新方式,並會參考研究預覽版收到的意見。
基準測試結果
我們以 Claude Opus 5 和 GPT-5.6 Sol 作比較基準,在三項代理式程式編碼基準測試中評估固定的 HydraFusion 政策:TerminalBench 2.1、DeepSWE,以及根據真實 GitHub Copilot 工作階段建立的內部基準測試 CheckpointBench。每項政策採用相同的任務輸入、工具、執行限制、定價假設、評分條件和缺失結果處理方式。評估項目包括已驗證任務品質(確認已正確回答的任務所佔比例)和完整估算工作流程成本。成本計算涵蓋每個已呼叫環節,例如起草、評論、修訂、升級、重試和後備方案。下列結果顯示調校最佳的 HydraFusion 配置。
| 基準測試 | 成本 相對於 Opus 5 | 品質 相對於 Opus 5 |
|---|---|---|
| TerminalBench 2.1 | 降低 67% | 提高 4.9 個百分點 |
| DeepSWE | 降低 36% | 降低 1.5 個百分點 |
| CheckpointBench | 降低 65% | 降低 0.1 個百分點 |
這些受控離線結果只適用於已評估的基準測試修訂版本、工作流程配置、模型池和定價假設;所有模型均以相同的中等推理級別評估。我們會透過研究預覽版驗證這些結果如何應用於真實開發者工作負載,並根據發現進一步最佳化 HydraFusion 的生產品質、延遲、可靠性、快取效率、成本和安全性。
TerminalBench 2.1
TerminalBench 2.1 會在終端機環境中,以複雜的多步驟任務評估程式編碼代理。
圖 2 比較 HydraFusion 和 Opus 5 在已驗證任務品質及估算工作流程成本方面的表現。
DeepSWE
DeepSWE 評估具挑戰性的儲存庫層級軟件工程任務,要求模型瀏覽大型程式碼庫、理解跨檔案相依性,並提出端到端修正。在此基準測試中,HydraFusion 與 Opus 5 相差 1.5 個百分點內,同時降低成本 36%,為複雜的真實工程任務提供具吸引力的品質與成本取捨。
CheckpointBench
CheckpointBench 是一項內部多輪基準測試,根據真實 GitHub Copilot 代理式程式編碼工作階段整理而成。每段對話均以特定公開儲存庫和不可變提交為基礎,確保每次工作階段都可重播。基準測試按程式語言、任務類型和難度保持平衡,並經品質清理,形成貼近正式環境代理式工作階段的真實評估集。在此基準測試中,HydraFusion 成本降低 65%,表現則與 Opus 5 相差 0.1 個百分點內。
早期內部測試亦得到相近結果。
目前為止,[HydraFusion 的]推理和任務解決能力與 Opus 相若或更佳。
Microsoft 首席軟件工程師
逐步提升 HydraFusion
HydraFusion 的路由政策,參考開發者使用 GitHub Copilot 處理真實程式編碼任務的方式制定。為令這些工作流程可重現,我們根據真實 Copilot 程式編碼工作階段軌跡整理 CheckpointBench。我們在 CheckpointBench、DeepSWE 和 TerminalBench 2.1 上反覆改進 HydraFusion,針對多個評估集進行最佳化,而非只為單一基準測試調整。
HydraFusion 的個別能力分數為比較候選路由政策提供一致基礎。我們沒有手動調校閾值,而是使用 beam search 建立最佳決策政策。每個候選政策都會與凍結的基準線比較品質、成本和失效模式,確保在穩定基礎上評估改進。
TerminalBench 2.1 提供最完整的連續執行記錄,最清晰展示了這種迭代改進。進展並非直線上升。八月 11 日至八月 25 日期間,評估工具的兩次操作故障導致執行結果無效。這些結果已從效能趨勢中排除,故障亦已修正,之後 HydraFusion 配置持續進步。到八月 25 日,HydraFusion 在記錄序列中達到最強的運作點。
這份開發記錄展示政策如何透過反覆實驗逐步改進。TerminalBench 2.1 是開發期間採用的多項基準測試之一。由於其表現相對飽和,因此有必要進行更廣泛驗證;三項基準測試評估亦包含要求更高的儲存庫層級任務 DeepSWE。研究預覽版則把這個學習循環擴展至真實開發者工作負載。
試用研究預覽版
這個預覽版最適合用於首輪、單一提示詞的程式編碼任務。下一步我們會聚焦提升多輪長時間迭代工作階段的表現。
這個預覽版旨在瞭解哪些任務適合複合工作流程,以及編排在實際應用中如何影響延遲和成本。現階段要獲得最佳體驗,請先挑選內容充實且範圍明確的程式編碼任務,然後以單一提示詞交由 Copilot 自動駕駛模式處理。歡迎分享你的體驗,包括它擅長和不足之處,以及你期望看到的功能;可在 Copilot CLI 使用 /feedback,或於 GitHub 社羣討論區留言。
HydraFusion 仍是進行中的研究項目。隨着我們從預覽版吸收經驗,結果、模型、工作流程、供應情況、名稱和產品行為都可能改變。我們相信,編碼代理的下一項重大進展,將來自把前沿級智能與執行時編排結合。HydraFusion 是我們對這個方向的首次嘗試:由選擇最佳模型,進一步轉為動態建構解決每項任務的最佳方式。
鳴謝
衷心感謝 GitHub 和 Microsoft 各團隊的研究人員、工程師、產品經理和設計師,整理訓練數據並建構訓練流程、評估套件、用戶端體驗和服務堆疊。我們特別感謝 GitHub Copilot CLI、Copilot API 和 VS Code 團隊克服重重挑戰,讓客戶能使用此研究預覽版。
團隊成員
Aashna Garg,Code AI 首席應用科學家
Shengyu Fu,Code AI 合作應用科學經理
Carlos Castro,GitHub Copilot 合作架構師
Siddharth Singha Roy,Code AI II 級研究科學家
Andy Salerno,GitHub Copilot 首席軟件工程師
來源:GitHub Blog · AI & ML · github.blog