BigCodeArena 以實際執行程式碼端到端評估程式生成模型
BigCodeArena: Judging code generations end to end with code executions
BigCodeArena 推出以程式碼實際執行評估程式生成模型的平台,讓使用者並排比較模型、測試輸出並投票。平台支援 10 種語言和 8 種執行環境,並已收集逾 14,000 段對話及 4,731 個投票樣本。
平台把程式實際執行和互動測試納入模型比較,並按程式語言與執行環境拆分結果,呈現總體排名之外的表現差異。
評估 AI 生成程式碼的質素向來相當困難。人類雖然很容易看出一段程式碼「看起來是否正確」,但要判斷它是否真的能正常運作、妥善處理邊界情況,以及產生預期結果,就必須實際執行和測試。因此,我們今天很高興宣佈推出 BigCodeArena,這是首個透過執行程式碼、由人類參與評估程式碼生成模型的平台。
我們以面向大型語言模型的 LMArena 為靈感,建立了一個平台,讓任何人都可以並排比較不同的程式碼生成模型,但有一個關鍵分別:你可以實際執行程式碼,並查看其輸出。只要提交一項編程任務,觀看兩個不同模型生成解答,再執行兩個程式並投票選出表現較好的模型。結果會整理成排行榜,展示社羣評分最高的模型。
動機
程式碼生成領域一直苦於缺乏可靠的評估方法。HumanEval 等傳統基準測試會用預先定義的測試案例檢驗程式碼,但這些案例只佔現實世界編程任務的一小部分。雖然已有針對一般聊天機械人的人工評估平台,但用於程式碼時仍有不足:閲讀原始碼並在腦中模擬其執行過程既費神又容易出錯,尤其是遇上較長的程式或複雜的 UI 應用程式時。
試想像以下情況:
你要求兩個 AI 模型建立一個響應式相片圖庫網站。兩者生成的程式碼看起來都符合語法,但哪個實際上更好?不執行程式碼,幾乎不可能判斷。一個可能會生成漂亮而實用的網格版面,另一個則可能有細微錯誤或樣式欠佳,只有在瀏覽器中呈現後才會顯現。
這個觀察帶出一個重要見解:執行結果回饋對人類可靠地判斷程式碼質素至關重要。BigCodeArena 正正提供這項能力。
BigCodeArena 平台
BigCodeArena 擴展了 Chatbot Arena 框架,加入專為程式碼評估而設的強大功能:
即時執行
模型生成的每段程式碼都會自動在隔離的沙盒環境中執行。無論是 Python 指令碼、React 網頁應用程式、PyGame 遊戲,還是 C++ 演算法,你都可以看到實際輸出,而不只是原始碼。
多語言及框架支援
目前支援 10 種語言(Python、JavaScript、TypeScript、HTML、C、C++、Java、Go、Rust 及 Markdown)和 8 種執行環境:
- 網頁框架:React、Vue、Core Web(原生 HTML/CSS/JS)
- Python 框架:Streamlit、Gradio、PyGame
- 圖表:Mermaid
- 通用直譯器:Python 和 JavaScript 程式碼直譯器,以及編譯語言執行器
互動測試
不同於靜態程式碼比較,你可以實際與生成的應用程式互動:
- 點擊按鈕並測試網頁應用程式中的 UI 元素
- 遊玩模型生成的遊戲
- 編輯程式碼並重新執行,以測試修改結果
- 查看圖表、圖形和流程圖等視覺輸出
多輪對話
真實的編程工作不會一次就完成。BigCodeArena 支援多輪互動,讓你可以完善需求、要求加入新功能或修正錯誤,就像與真正的編程助理合作一樣。
我們的發現:社羣評估 5 個月
自 2025 年 2 月推出以來,BigCodeArena 已收集超過 14,000 段對話,來自 500 多名獨立用戶,並累積了 4,700 多個高質素偏好票,用以比較 10 個前沿大型語言模型。
真實使用中的編程主題
用戶探索了各式各樣的編程情境:
- 網頁設計(36%):建立響應式網站、互動式儀錶板和網頁應用程式
- 問題解決(23%):演算法、資料結構和計算挑戰
- 遊戲開發(16%):建立具備物理效果、碰撞偵測和圖像的互動遊戲
- 科學運算(14%):數據分析、視覺化和數值模擬
- 創意編程(8%):藝術視覺化、生成藝術和實驗性介面
- 圖表製作(3%):流程圖、系統架構和數據視覺化
語言及框架的受歡迎程度
Python 以超過 4,000 段對話居首,其次為 JavaScript/TypeScript(3,359)、HTML(1,601)和 C++(642)。在框架方面,直接使用 Python 直譯器最常見(6,000 個工作階段);React(2,729)、Core Web(1,574)、Streamlit(1,254)和 PyGame(1,087)亦廣泛使用。
用戶互動模式
大部分互動都集中而有效率:76% 的對話只有 2 輪(一項要求、一個回覆),平均對話長度為 4.12 則訊息。不過,有需要時平台亦支援延長多輪的除錯工作階段;部分對話超過 10 輪,用戶藉此逐步完善複雜應用程式。
社羣投票得出的模型排名
我們從 14K 段對話中篩選出高質素的成對比較:對話至少有兩輪,並且實際執行過程式碼。這得出 4,731 個投票樣本,每個受評模型都至少獲得 700 票。我們使用 Bradley-Terry 模型,根據模型之間的直接對戰比較,估算各模型勝過另一模型的機率,並以此計算 Elo 評分。
為確保排名穩健,我們進行 100 次 bootstrap 重抽樣以建立 95% 信賴區間,從而識別具統計顯著性的模型表現差異。
我們以三種設定評估模型,以控制不同因素:
- 所有數據:使用所有成對比較,不論執行環境或編程語言
- 環境配對:只比較在相同沙盒中執行的模型(例如兩者都在 React 或 PyGame 中執行)
- 語言配對:進一步限制為使用相同編程語言的比較
三種設定下的排名仍然相當一致,並呈現出清晰的表現層級:
頂尖組別:o3-mini 和 o1-mini 持續領先,Elo 評分最高,信賴區間亦較窄。無論是否限制執行環境或語言,這些模型在各類編程情境中都展現出強大的穩健性。Claude-3.5-Sonnet 緊隨其後,在控制語言的情況下尤其出色。
中游組別:GPT-4o、o1 和 Gemini-2.0-Pro/Flash 構成競爭激烈的中游組別。GPT-4o 對語言配對有一定敏感度,反映其跨語言一致性仍有改善空間。
開源模型:Qwen2.5 系列及 Llama-3.3-70B 落後於頂尖專有模型,凸顯領先閉源模型與開源模型之間仍存在性能差距。
圖:各模型在不同語言(左)及執行環境(右)的整體勝率熱圖,即在所有成對比較中獲勝的百分比。每個類別只保留至少出現在 3 個對話工作階段中的模型。
不同語言下的表現
按編程語言細分表現,可見一些有趣的模式:
- o3-mini 和 o1-mini 等頂尖模型在 Python、Java 和 C++ 等主流語言中勝率突出
- Gemini-2.0-Pro 在 Rust 中表現特別強,取得該類別的最高勝率
- 不同模型各有專長,前沿模型在不同範疇均有出色表現
- Qwen2.5 系列等開源模型的表現不太穩定,尤其難以應付 Rust 和 Go
不同執行環境下的表現
分析各執行環境的勝率,可瞭解模型如何應對不同的執行環境:
表現穩健:o3-mini 在 React、Streamlit、Gradio、Core Web 和 PyGame 中均維持強勁表現,展現出出色的環境適應能力。
穩定但有選擇性:Claude-3.5-Sonnet 和 Gemini-2.0-Flash 整體表現穩定,但在 Vue 和 Mermaid 等較複雜、以 UI 為主的環境中勝率較低。
特定框架的弱點:Qwen2.5 模型雖然在部分網頁框架(Core Web、React)中具競爭力,但在 PyGame、Vue 和 Mermaid 等互動性及視覺化環境中表現明顯較弱。這些環境往往要求精準處理控制流程、圖形呈現和套件相依項目。
這些結果帶出一個重要見解:整體 Elo 分數並不能反映全部情況。部分模型在特定執行環境限制下仍不夠穩定,而執行環境對真實部署有重大影響。
兩項全新基準測試:BigCodeReward 和 AutoCodeArena
為推進眾包評估以外的研究,我們將推出兩項互補的基準測試:
BigCodeReward:評估程式碼的獎勵模型
BigCodeReward 建基於我們收集的 4,700 多個偏好票,用來測試大型語言模型充當獎勵模型時,判斷程式碼質素的能力。主要發現是:執行結果能大幅提升判斷準確度。
當模型可以查看執行輸出(例如網頁應用程式截圖、遊戲畫面和程式日誌),其判斷與人類偏好的吻合程度會大幅提高:
- Claude-Sonnet-4:56.7% → 62.3% 準確度
- GPT-4o:54.6% → 63.8% 準確度
- Qwen2.5-VL-72B:58.7% → 66.2% 準確度
這進一步印證我們的核心論點:不執行程式,就無法可靠地判斷程式碼;這既適用於人類,也適用於 AI 評審。
AutoCodeArena:自動化程式碼生成基準測試
AutoCodeArena 以 Arena-Hard-Auto 為靈感,提供可擴展的方法,讓我們無須等待數以千計的人類投票,也能評估新模型。我們從眾包數據中仔細挑選了 600 個具代表性的提示,涵蓋所有編程主題和框架。
我們使用自動化大型語言模型評審(Claude-3.7-Sonnet),將程式碼執行結果與 GPT-4.1 基準模型比較,從而快速測試新模型。這種方法讓排行榜能隨新模型推出而每週更新。
我們的自動化基準測試評估了 20 多個尖端模型,包括近期推出的系統:
表現最佳:
- GPT-5 -- 以明顯優勢創下新的最先進水平
- Claude-Opus-4 和 Claude-Sonnet-4 -- 位列第二梯隊,在需要深入推理的任務中表現出色
- Qwen3-Coder、Kimi-K2、GLM-4.5 -- 領先的開源模型,縮窄了與中游專有系統的差距
圖:近期大型語言模型在 AutoCodeArena 上相對 GPT-4.1 基準模型的勝率,由 Claude-3.7-Sonnet 評審。50% 代表與 GPT-4.1 表現相同;高於此線表示勝過基準模型,低於此線則表示表現較差。誤差線顯示 95% 信賴區間。注意:為避免自我評審偏差,排名不包括 Claude-3.7-Sonnet;GPT-4.1 只作為參考基準。
結果顯示,雖然專有模型仍有優勢,但開源模型正迅速追上,部分模型的表現已接近 GPT-4.1 水平。
親自試用
任何人都可以使用 BigCodeArena,無須帳戶!前往 https://huggingface.co/spaces/bigcode/arena,即可:
- 比較較新推出的前沿大型語言模型程式碼(例如 Qwen3、DeepSeek-V3.X 及其他專有模型)
- 測試網頁應用程式、遊戲、視覺化內容和演算法
- 查看實際執行結果,而不只是原始碼
- 投票表達你的偏好,協助改善排行榜
- 探索多輪編程對話
無論你是建立 React 儀錶板、製作 PyGame 遊戲、解決演算法挑戰,還是生成創意視覺化內容,BigCodeArena 都能讓你看清哪些模型真正交出成果。
全面開放原始碼
秉承 BigCode Project 對透明度的承諾,我們將公開:
- 程式碼庫:完整的評估流程及 Gradio 應用程式原始碼(GitHub)
- 眾包數據:14K 段原始對話及 4.7K 個偏好票(HuggingFace Collection)
- 基準測試:BigCodeReward 和 AutoCodeArena 數據集
下一步
我們期望 BigCodeArena 成為一個長期發展的項目,與社羣共同演進:
- 擴展語言支援:支援更多編程語言和框架。
- 即時基準測試:持續更新評估提示,避免模型過度擬合
- 以代理程式評估:使用 AI 代理程式與網頁應用程式互動,進行更深入測試
- 更好的獎勵模型:推進程式碼質素的自動評估
- 社羣貢獻:歡迎大家加入新的執行環境、評估準則和模型。PR 一律歡迎!
總結
評估程式碼並不像評估文字:你必須執行、測試並與程式互動。BigCodeArena 讓大規模評估成為可能,結合人類判斷與實際執行結果回饋,建立目前最可靠的程式碼生成模型評估平台。
歡迎加入我們,一同建設程式碼生成評估的未來。撰寫提示、比較模型,並投票選出你的心水模型。你的回饋能幫助整個社羣瞭解哪些模型真正兑現了 AI 輔助編程的承諾。
我們很期待聽到你的意見!歡迎在 GitHub 與我們聯絡、到 Hugging Face Space 社羣分頁參與討論,或聯絡 BigCode Project:contact@bigcode-project.org。
鳴謝
感謝 Leandro von Werra 為這篇網誌提供寶貴建議和意見。
引用
@article{zhuo2025bigcodearena,
title={BigCodeArena: Unveiling More Reliable Human Preferences in Code Generation via Execution},
author={Terry Yue Zhuo, Xiaolong Jin, Hange Liu, Juyong Jiang, Tianyang Liu, Chen Gong, Bhupesh Bishnoi, Vaisakhi Mishra, Marek Suppa, Noah Ziems, Saiteja Utpala, Ming Xu, Guangyu Song, Kaixin Li, Yuhan Cao, Bo Liu, Zheng Liu, Sabina Abdurakhmanova, Wenhao Yu, Mengzhao Jia, Jihan Yao, Kenneth Hamilton, Kumar Shridhar, Minh Chien Vu, Dingmin Wang, Jiawei Liu, Zijian Wang, Qian Liu, Binyuan Hui, Meg Risdal, Ahsen Khaliq, Atin Sood, Zhenchang Xing, Wasi Uddin Ahmad, John Grundy, David Lo, Banghua Zhu, Xiaoning Du, Torsten Scholak, Leandro von Werra},
year={2025}
}
立即試用 BigCodeArena:Hugging Face Space
閲讀論文:Hugging Face
執行程式碼:GitHub
來源:Hugging Face Blog · huggingface.co




