跳到正文
gihyo.jp·· 5 小時前AI 評分68

Sakana AI 公開 The AI Scientist 第三代,並開源 AutoIllustrate

Sakana AI、「The AI Scientist」の第3世代を公開 ——複数エージェントで仮説検証から論文執筆まで、図生成ツール「AutoIllustrate」もオープンソース化

AI 導讀

Sakana AI 公開 The AI Scientist 第三代,整合多個編碼智能體推進假設、實驗、分析和論文撰寫,並開源圖表生成工具 AutoIllustrate。

正文

Sakana AIは2026年10月15日、科学研究を自動化する「The AI Scientist」の第3世代を公開した[1]。CodexやClaude Codeなど複数のコーディングエージェントを連携させ、仮説の提案から実験、分析、論文執筆までを進める。人間が研究の方向や検証基準を定める共同研究にも利用できる。あわせて、編集可能な図を生成する「AutoIllustrate」もオープンソース化した。

複数エージェントで仮説を検証し⁠、実験結果を基に論文を執筆

第3世代の「The Agentic Scientist」は、コーディングエージェントを使った研究のためのフレームワークとして開発された。各エージェントが参照する情報や作業の評価方法、次の工程への成果の受け渡しを管理する。

同社によると、第1世代・第2世代のThe AI Scientistでは研究工程の多くを自動化できた一方、アイデアの掘り下げが不十分だったり、実装に誤りが含まれたりする課題が残っていたという。第3世代では、複数エージェントによる並列探索や、事前に定めた評価基準に基づく検証を強化し、実験結果を根拠に論文を書く手順を組み込んでいる。

研究の開始には、出発点となるプログラムや、実装の正しさを確認してスコアを算出する評価プログラムなどが必要になる。これらは研究者が用意するほか、研究の概要からエージェントに作成させることもできる。ただし、自動作成は実験段階にある。

探索は複数のワーカーで並行して進める。各ワーカーでは、発案役が仮説と実験計画、満たすべき評価基準(ルーブリック)をまとめ、実行役がコードの変更と評価を重ねていく。探索の区切りごとに知見を共有し、他のワーカーの成功や失敗を次の探索に活かしている。

探索後は、検査を通過した候補から最高スコアのプログラムを選ぶ。出発点の実装と比較したり、変更点を一つずつ取り除いたりして、何が改善につながったかを確かめる。

論文の執筆役は、こうして集めた実験結果を基に原稿を書き、各主張とその根拠となる測定値や保存ファイルを対応表にまとめる。監査役のエージェントが数値の食い違いや根拠を超えた主張を指摘し、執筆役はその指摘を受けて、実験結果に沿うよう原稿を整えていく。

人間との共同研究による論文がALIFE 2026の口頭発表に採択

研究チームは、開発版のThe Agentic Scientistを使い、学習手法Error Diffusionを拡張した事例を紹介している。誤差逆伝播を使わずにニューラルネットワークを学習させる手法で、従来は対象を2種類に分ける二値分類で実証されていた。今回は、3種類以上に分ける多クラス分類や強化学習への拡張を目指したという。

人間が研究の方向、出発点となる実装、評価基準を定め、エージェントが仮説を提案して実験を進めた。初期の探索では、高いスコアを得た候補の実装が、Error Diffusionの学習規則に従っていないことを人間が発見し、評価基準を強化した。その基準の下でエージェントが多クラス分類に対応する方法を開発し、人間が選んだ実装を基に、強化学習への拡張実験も進めた。

エージェントが実験と分析の結果を論文にまとめた後、人間が実装、数値、参考文献を確認し、実験結果から言える範囲を超えた主張を修正して投稿した。論文「Diffusing Blame」は、外部査読を経てALIFE 2026の口頭発表に採択され、査読後の修正にも人間が対応した。

研究チームは、エージェントが実験を支える一方、研究の方向を決める役割と結論への責任は人間にあると強調している。

自律的な研究の事例と⁠、5課題での評価結果

研究チームは、長い文書から必要な情報を取り出す能力を、システムが自律的に改善した事例も紹介している。改善の対象となったDoc-to-LoRAでは、文書の断片ごとに、言語モデルへ追加するLoRAのパラメーターを生成する。これをモデルに適用すると文書の情報を取り込めるが、複数のLoRAを単純にまとめると情報が干渉してしまう。そこで、システムは質問に応じて使うLoRAを選ぶ方法を考案し、文書から取り込む部分の選び方や区切り方も調整した。

これらの工夫により、文書から指定された情報を取り出すテストで、回答が正解と完全に一致した割合を52%から98%へ引き上げたと報告している。ただし、人工的に作成した文書での結果に限られ、自然な文書や複雑な質問でも有効かどうかは、検証が課題として残る。

これらの事例とは別に、システム全体の評価では、学習アルゴリズムや予測モデルの改良など、人間が用意した5つの課題を使用した。9種類の大規模言語モデルと4種類のエージェント実行ツールを組み合わせ、実験から論文作成までの研究工程を合計70回実行した[2]。

生成した論文の品質は、同社の自動論文評価ツール「AI Reviewer」を使い、1〜10点で評価した。新しいモデルほど論文の評価が高い傾向があり、特にClaude系で顕著だった。同じモデルを使った比較では、実行ツール間の差は小さかったという。

また、5課題のうち4課題では、実験の最終評価でよい結果を得た研究ほど、論文のAI評価も高い傾向が見られた。ただし、研究チームは、AIの高評価が研究内容の正しさを証明するわけではないと説明している[3]。

人間による確認が必要⁠、先行研究との比較にも課題

評価プログラムやルーブリックの確認項目に含まれない誤りは、検査で見逃される可能性がある。このため、研究チームは、検査を通過した結果も人間が確認する必要があるとしている。今回の評価は計算機上の機械学習研究に限られ、物理実験や人を対象とする研究への適用には、さらに検証が必要となる。

先行研究の調査や比較にも課題が残る。文献検索を独立した工程として設けているのは論文執筆の段階で、アイデアを考える初期段階には組み込まれていない。ただし、探索中のコーディングエージェントがWeb検索を使う場合はある。

また、比較実験の多くは、探索で選んだプログラムに変更を加えて行う。どの変更が効いたかは調べられるものの、既存の論文から有力な手法を実装して比較する仕組みは十分に整っていないという。

コードをGitHubで公開⁠、CPUで試せるサンプルも

The Agentic Scientistのコードは、Apache License 2.0でGitHubのAI-Scientist-v3リポジトリに公開されている。CLIツールagsciから実行でき、デフォルトではClaude Codeを使う。CodexやGemini CLIなど、別のコーディングエージェントにも切り替えられる。

リポジトリのREADMEでは各工程をDocker内で実行する構成を推奨している[4]。実験の実行にはGPUが必要な課題もあるが、CPUだけで試せるサンプルも用意されている。このサンプルでは、正方形の中に26個の円を重ならないように配置し、半径の合計を最大化する課題を通じて、実験から論文作成までの流れを試せる。

編集可能な論文用の図を生成する「AutoIllustrate」も公開

あわせて、論文の手法やシステムの説明を基に図を作るCLIツールAutoIllustrateも公開した。生成例には、The AI Scientistの発案、実験、論文執筆、レビューの流れを図形や矢印で示した図がある。

AutoIllustrateのREADMEに掲載された、draw.ioから書き出した図と画像生成モデルで仕上げた図の比較

図の生成では、まず編集可能なdraw.ioファイルを作り、図形の重なりや矢印の配置を検査する。その図を画像生成モデルで仕上げ、PNG画像として出力する。元のdraw.ioファイルも残るため、研究者は後から図形や矢印、ラベルなどを手作業で修正できる。

仕上げには、デフォルトで画像生成モデルgpt-image-2.5-sunburstを使う。別のモデルに変更できるほか、画像生成による仕上げを省くこともできる。

デフォルト構成での実行には、Claude CodeとOpenAIのAPIキーが必要になる。コーディングエージェントはCodexなどにも切り替えられる。詳しい使い方は、導入手順とCLIリファレンスを参照。

來源:gihyo.jp · gihyo.jp