OpenHands Index 推出、擴充並修補基準漏洞
先了解這件事
OpenHands 推出 OpenHands Index,作為持續更新的排行榜,按能力、成本及執行時間評估語言模型在五類軟件工程任務上的表現。推出三個月後,官方加入多款模型並公佈評測:成本/效能排行榜由 Opus 4.7 領先,GPT-5.5 表現接近;DeepSeek-3.2-Thinker 的價格是 Claude 的 1/10。分項結果中,Claude 的軟件測試表現領先,GPT 的資訊蒐集排名最高,Claude 和 GPT 解決問題的速度表現最佳。其後,OpenHands 與 Carnegie Mellon University 研究人員找出並修補 Commit0 基準漏洞,重測模型,並在更新版 Index 加入 Laminar 軌跡視覺化。
AI 根據報道生成 · 1 小時前更新
事件進展
3 個進展
- 10月13日 00:27 · 1 篇報道OpenHands 推出模型評測排行榜OpenHands 官方博客:OpenHands 推出 OpenHands Index,評測語言模型在五類軟件工程任務上的表現
- 10月13日 00:27 · 1 篇報道OpenHands 修正 Commit0 基準漏洞OpenHands 官方博客:OpenHands Index 分析與改進:修補 Commit0 基準漏洞並重測模型
- 10月13日 00:27 · 1 篇報道OpenHands Index發布三個月評測結果OpenHands 官方博客:OpenHands Index:推出三個月後的模型評測結果
報道時間線
沿着報道,瞭解事件的不同側面。
- OpenHands 官方博客OpenHands 推出 OpenHands Index,評測語言模型在五類軟件工程任務上的表現
OpenHands 推出 OpenHands Index(https://openhands.dev/blog/openhands-index),這個持續更新的排行榜按能力、成本和執行時間評估語言模型在五類軟件工程任務上的表現。
- OpenHands 官方博客OpenHands Index 分析與改進:修補 Commit0 基準漏洞並重測模型
OpenHands 更新 OpenHands Index,與 Carnegie Mellon University 研究人員找出 Commit0 基準漏洞並修補,亦加入 Laminar 軌跡視覺化。
- OpenHands 官方博客OpenHands Index:推出三個月後的模型評測結果
OpenHands Index 推出三個月後加入多款模型,並比較它們在軟件工程任務上的表現、成本及執行時間。成本/效能排行榜中,Opus 4.7 排名最高,GPT-5.5 表現接近;DeepSeek-3.2-Thinker 的價格是 Claude 的 1/10。分項結果顯示,Claude 在軟件測試領先,GPT 在資訊蒐集排名最高,而 Claude 和 GPT 解決問題的速度表現最佳。
本事件熱度走勢
還沒有足夠的連續觀測數據,暫不繪製趨勢。