पत्र में AutoDesign पेश किया गया है, एक फ्रेमवर्क जो रोलआउट फीडबैक के आधार पर अपने हार्नेस को पुनरावृत्त रूप से सुधारने वाले कोड एजेंट को मार्गदर्शन देने के लिए एक मेटा-हार्नेस ऑप्टिमाइज़र का उपयोग करता है। लेखकों ने PosterBench नामक नए बेंचमार्क का उपयोग करके अकादमिक पत्र से पोस्टर जनरेशन कार्य पर इस दृष्टिकोण का मूल्यांकन किया है।
- AutoDesign ने PosterBench मेन ट्रैक पर 78.32 का स्कोर हासिल किया, जो Claude Design से 7.45 अंक अधिक है।
- सीखे गए DesignHarness को एकीकृत करने से सात कोड-एजेंट-मॉडल कॉन्फ़िगरेशन में औसत PosterBench स्कोर 54.99 से बढ़कर 67.39 हो गया।
- एक पूर्ण स्वचालित लूप में, प्रणाली 40 मिनट के भीतर $3 से कम लागत पर 253 टूल कॉल और 11 संपादन चरण निष्पादित करती है।
- एक सिस्टम-अंधा मानव अध्ययन दिखाता है कि AutoDesign मूल्यांकन की गई प्रणालियों में सबसे अधिक मानव पसंद हासिल करता है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह दिखाता है कि मानव डिज़ाइन प्राइयर्स के साथ अनुकूलन और पुनः उपयोग योग्य अनुभव को संचित करना लंबे-अवधि एजेंटिक प्रक्रियाओं में पुनरावृत्त आत्म-सुधार को कैसे प्रेरित कर सकता है।