論文では、AutoDesignというフレームワークを紹介しています。これは、ロールアウトフィードバックに基づいてコードエージェントのハーネスを再帰的に改善するよう誘導するためにメタハーネスオプティマイザを採用しています。このアプローチは、人間の設計事前知識と整合させ、再帰的自己改善のために再利用可能な経験を蓄積することを目指しています。
- PosterBenchで評価され、AutoDesignは78.32のスコアを達成し、Claude Designを7.45ポイント上回りました。
- 学習されたDesignHarnessを統合することで、PosterBenchの平均スコアが54.99から67.39に向上しました(+12.4%)。
- システムは40分以内に253回のツール呼び出しと11回の編集ターンを実行し、コストは3ドル未満でした。
- 人間による研究では、AutoDesignが評価されたシステムの中で最も高い人間の好みを実現していることが示されました。
著者らはこれを重要視しており、長期エージェントプロセスを通じてマルチモーダルソースを構造化出力に変換し、自律的に会議ポスターレベルの品質を達成しているためです。