Terminal-Bench 2.0 पर एक अध्ययन GEPA, Meta Harness और RELAI की सत्यापनीय निरंतर शिक्षण (RELAI-VCL) की तुलना करके यह मूल्यांकन करता है कि एजेंट-ऑप्टिमाइज़ेशन लाभ समय के साथ संयोजित होते हैं या नहीं। शोध परीक्षण करता है कि क्या ऑप्टिमाइज़ किए गए एजेंट पिछले लाभों को क्षय किए बिना नई कार्यों में सुधार कर सकते हैं।

  • जब नए कार्य पेश किए गए, तो GEPA के ऑप्टिमाइज़ किए गए एजेंट ने अप्रशिक्षित आधार रेखा से नीचे स्थानांतरित किया।
  • Meta Harness अच्छी तरह स्थानांतरित हुआ लेकिन दूसरे ऑप्टिमाइज़ेशन बजेट के साथ आगे सुधार करने में विफल रहा।
  • RELAI-VCL सकारात्मक स्थानांतरण और निरंतर सुधार दिखाने वाला एकमात्र विधि था, जिसने GEPA के लिए 66.0% और Meta Harness के लिए 64.6% की तुलना में जीवन भर औसत पास दर 76.4% प्राप्त की।

लेखकों का निष्कर्ष है कि ऑप्टिमाइज़ेशन लाभ तभी संयोजित होते हैं जब शॉर्टकट समाधानों को रोकने के लिए नियंत्रण को ऑप्टिमाइज़ेशन लूप में शामिल किया जाता है।