Makalah ini memperkenalkan AutoDesign, sebuah kerangka kerja yang memanfaatkan pengoptimal meta-harness untuk mengarahkan agen kode dalam memperbaiki harness-nya secara rekursif berdasarkan umpan balik rollout. Penulis mengevaluasi pendekatan ini pada tugas generasi poster dari makalah akademik menggunakan benchmark baru bernama PosterBench.
- AutoDesign mencapai skor 78.32 di Jalur Utama PosterBench, melampaui Claude Design sebesar 7,45 poin.
- Mengintegrasikan DesignHarness yang dipelajari meningkatkan rata-rata Skor PosterBench dari 54,99 menjadi 67,39 di tujuh konfigurasi model agen kode.
- Dalam loop otonom penuh, sistem melakukan 253 panggilan alat dan 11 putaran pengeditan dalam waktu 40 menit dengan biaya kurang dari $3.
- Studi manusia buta sistem menunjukkan AutoDesign mencapai preferensi manusia tertinggi di antara sistem yang dievaluasi.
Penulis menganggap hal ini penting karena menunjukkan bagaimana menyelaraskan dengan prior desain manusia dan mengakumulasi pengalaman yang dapat digunakan kembali dapat mendorong perbaikan diri rekursif dalam proses agens jangka panjang.