跳到正文
gihyo.jp·· 2026-08-17AI 評分45

Ruby on Railsコードを書くのに最適なエージェントは? Agents on Railsプロジェクトがベンチマークレポートを発表

AI 導讀

Rails Foundation 發表 Agents on Rails 首份基準測試報告,比較 8 個模型在 Ruby on Rails 任務中的表現。Claude Fable 5 的執行準確率最高,達 95%,但會拒絕部分安全報告任務;Claude Opus 5 解決 92% 的有效任務。

正文

Rails Foundationは2026年8月13日、Ruby on Railsタスクに対するコーディングエージェント比較プロジェクト「Agents on Rails」の最初のベンチマークレポートを発表した。

Agents on Rails: We ran 8 models against 21 atomic tasks to see which were best at writing Rails code. 3 runs each: a bug report, a security finding, a feature request.

The first benchmark report with findings is now live. So: what did we discover?

As of August 2026:
- Most… pic.twitter.com/xs8zItKWca

— Ruby on Rails (@rails) August 13, 2026

「Agents on Rails」はRails Foundationが行っているプロジェクトで、現在主流のエージェント型コーディングツールがRuby on Railsのコードベース上で実際にどの程度優れたパフォーマンスを発揮するかを測定する継続的な取り組み。最初のレポートでは8つのモデルを使ってRailsアプリケーションWritebookに対して21個のアトミックタスク(特定の機能のみを実行する小さい自己完結型タスク)をそれぞれ3回ずつ実行した結果をまとめている。ベンチマークの詳しい情報はGitHub上で公開されている。

使用したモデルは以下の8種。

  • Anthropic Claude Opus 5
  • Anthropic Claude Fable 5
  • MoonshotAI Kimi-K3
  • OpenAI GPT-5.6 Sol
  • OpenAI GPT-5.6 Luna
  • Meta Muse Spark 1.2
  • Z.ai GLM-5.2
  • DeepSeek V4 Flash

またこれに加えて、SpaceXAI Grok 4.6、Z.ai GLM-5.3、Google Gemini 3.7 Flashのベンチマークが8月17日(米国時間)に公開される予定。

今回行ったベンチマークでは、おもに以下のような結果となった。

  • 正確性:有効なタスク実行ではClaude Opus 5が最も高く、92%の問題を解決
  • コスト:GPT-5.6 Lunaがデフォルトの中程度の推論レベルで73%の精度を保ちつつ、63回の実行で合計91セントとなった。
  • 速度:GPT-5.6 Lunaが最も速く、1タスクあたりの平均実行時間は3.3分
使用トークン数あたりの正確性(左上ほど少ないトークンで正確な回答を得られる)
使用トークン数あたりの正確性
回答のスピードと正確性
回答のスピード比較
回数あたりのコストと正確性
コスト比較

また精度とコスト、実行速度のバランスが最もとれたモデルはGPT-5.6 Solで、精度84%、1回の実行あたり約0.52ドル、実行時間5分であった。

なお、単純な実行精度においてClaude Fable 5は95%とトップの成績をマークしたが、Anthropicの制限により、セキュリティレポートのようなタスクを解決することを拒否したため、利用には注意が必要とされた。

詳しいベンチマーク結果はAgents on Railsのページを参照。

來源:gihyo.jp · gihyo.jp