एक अध्ययन Terminal-Bench 2.0 पर तीन एजेंट-हार्नेस ऑप्टिमाइज़ेशन विधियों का परीक्षण करके यह मूल्यांकन करता है कि क्या ऑप्टिमाइज़र-ड्राइवन लाभ समय के साथ संयुक्त होते हैं। शोध समान बजट के तहत GEPA, Meta Harness और RELAI's Verifiable Continual Learning (RELAI-VCL) की तुलना करता है यह निर्धारित करने के लिए कि क्या नई कार्यक्षमताओं के प्रकट होने पर सुधार बनाए रहते हैं।
- जब नई कार्यक्षमताएं पेश की जाती हैं, तो GEPA द्वारा अनुकूलित एजेंट प्रदर्शन अप्रबंधित आधार रेखा से नीचे स्थानांतरित होता है।
- Meta Harness अच्छी तरह स्थानांतरित होता है लेकिन दूसरा ऑप्टिमाइज़ेशन बजट प्राप्त करने के बाद और सुधार करने में विफल रहता है।
- RELAI-VCL एकमात्र विधि है जो अदृश्य कार्यक्षमताओं पर सकारात्मक रूप से स्थानांतरित होती है और सुधार जारी रखती है, 76.4% की सबसे उच्च जीवनभर औसत पास दर प्राप्त करती है।
- लेखकों ने देखा कि लाभ केवल तभी संयुक्त होते हैं जब रीग्रेशन नियंत्रण को ऑप्टिमाइज़ेशन लूप में बनाया गया हो ताकि शॉर्टकट समाधानों से बचा जा सके।
निष्कर्ष सुझाव देते हैं कि रीग्रेशन नियंत्रण शामिल करने से गैर-सामान्यीकरण शॉर्टकट्स के खिलाफ एक इंडक्टिव बायस प्रदान होता है, जिससे तैनात एजेंट सेटिंग्स में स्थिर सुभव्य होता है।