Ruby on Railsコードを書くのに最適なエージェントは? Agents on Railsプロジェクトがベンチマークレポートを発表
Rails Foundation 發表 Agents on Rails 首份基準測試報告,比較 8 個模型在 Ruby on Rails 任務中的表現。Claude Fable 5 的執行準確率最高,達 95%,但會拒絕部分安全報告任務;Claude Opus 5 解決 92% 的有效任務。
Rails Foundationは2026年8月13日、Ruby on Railsタスクに対するコーディングエージェント比較プロジェクト「Agents on Rails」の最初のベンチマークレポートを発表した。
Agents on Rails: We ran 8 models against 21 atomic tasks to see which were best at writing Rails code. 3 runs each: a bug report, a security finding, a feature request.
The first benchmark report with findings is now live. So: what did we discover?
As of August 2026:
— Ruby on Rails (@rails) August 13, 2026
- Most… pic.twitter.com/xs8zItKWca
「Agents on Rails」はRails Foundationが行っているプロジェクトで、現在主流のエージェント型コーディングツールがRuby on Railsのコードベース上で実際にどの程度優れたパフォーマンスを発揮するかを測定する継続的な取り組み。最初のレポートでは8つのモデルを使ってRailsアプリケーションWritebookに対して21個のアトミックタスク(特定の機能のみを実行する小さい自己完結型タスク)をそれぞれ3回ずつ実行した結果をまとめている。ベンチマークの詳しい情報はGitHub上で公開されている。
使用したモデルは以下の8種。
- Anthropic Claude Opus 5
- Anthropic Claude Fable 5
- MoonshotAI Kimi-K3
- OpenAI GPT-5.6 Sol
- OpenAI GPT-5.6 Luna
- Meta Muse Spark 1.2
- Z.ai GLM-5.2
- DeepSeek V4 Flash
またこれに加えて、SpaceXAI Grok 4.6、Z.ai GLM-5.3、Google Gemini 3.7 Flashのベンチマークが8月17日(米国時間)に公開される予定。
今回行ったベンチマークでは、おもに以下のような結果となった。
- 正確性:有効なタスク実行ではClaude Opus 5が最も高く、92%の問題を解決
- コスト:GPT-5.6 Lunaがデフォルトの中程度の推論レベルで73%の精度を保ちつつ、63回の実行で合計91セントとなった。
- 速度:GPT-5.6 Lunaが最も速く、1タスクあたりの平均実行時間は3.3分
また精度とコスト、実行速度のバランスが最もとれたモデルはGPT-5.6 Solで、精度84%、1回の実行あたり約0.52ドル、実行時間5分であった。
なお、単純な実行精度においてClaude Fable 5は95%とトップの成績をマークしたが、Anthropicの制限により、セキュリティレポートのようなタスクを解決することを拒否したため、利用には注意が必要とされた。
詳しいベンチマーク結果はAgents on Railsのページを参照。
來源:gihyo.jp · gihyo.jp