L'article présente AutoDesign, un cadre qui emploie un optimiseur de méta-harnais pour guider un agent de code dans l'amélioration récursive de son harnais en fonction du feedback des rollouts. Les auteurs évaluent cette approche sur la tâche de génération d'affiche à partir d'un article académique en utilisant un nouveau benchmark appelé PosterBench.

  • AutoDesign obtient un score de 78,32 sur le Main Track de PosterBench, surpassant Claude Design de 7,45 points.
  • L'intégration du DesignHarness appris augmente le score moyen de PosterBench de 54,99 à 67,39 sur sept configurations de modèle d'agent de code.
  • Dans une boucle entièrement autonome, le système exécute 253 appels d'outil et 11 tours d'édition en moins de 40 minutes pour moins de 3 $.
  • Une étude humaine aveugle au système montre qu'AutoDesign obtient la préférence humaine la plus élevée parmi les systèmes évalués.

Les auteurs considèrent cela important car cela démontre comment l'alignement avec les priors de design humain et l'accumulation d'expérience réutilisable peuvent conduire à une auto-amélioration récursive dans des processus agents à long terme.