本論文では、AutoDesignというフレームワークを紹介しています。これは、ロールアウトフィードバックに基づいてハーネスを再帰的に改善するコードエージェントを誘導するためにメタハーネスオプティマイザを採用しています。著者たちは、PosterBenchと呼ばれる新しいベンチマークを用いて、学術論文からポスターへの生成タスクにおいてこのアプローチを評価しました。
- AutoDesignはPosterBench Main Trackで78.32のスコアを達成し、Claude Designを7.45ポイント上回りました。
- 学習されたDesignHarnessを統合することで、7つのコードエージェントモデル構成全体での平均PosterBenchスコアが54.99から67.39に向上しました。
- 完全自律型ループにおいて、システムは40分以内に253回のツール呼び出しと11回の編集ターンを実行し、コストは3ドル未満でした。
- システムを盲検した人間による評価では、AutoDesignが評価されたシステムの中で最も高い人間の好みを達成しました。
著者たちはこれを重要視しています。なぜなら、人間の設計事前知識への整合性と再利用可能な経験の蓄積が、長期の自律型プロセスにおける再帰的な自己改善をどのように駆動するかを示しているからです。