Sebuah studi mengevaluasi apakah keuntungan yang didorong oleh pengoptimal bertambah seiring waktu dengan menguji tiga metode optimasi harness agen pada Terminal-Bench 2.0. Penelitian ini membandingkan GEPA, Meta Harness, dan Pembelajaran Berkelanjutan Terverifikasi (RELAI-VCL) dari RELAI di bawah anggaran yang identik untuk menentukan apakah peningkatan bertahan saat tugas baru muncul.
- Kinerja agen yang dioptimalkan oleh GEPA mentransfer di bawah baseline yang tidak dioptimalkan ketika tugas baru diperkenalkan.
- Meta Harness mentransfer dengan baik tetapi gagal meningkat lebih lanjut setelah menerima anggaran optimasi kedua.
- RELAI-VCL adalah satu-satunya metode yang mentransfer secara positif ke tugas yang belum terlihat dan terus meningkat, mencapai tingkat keberhasilan rata-rata seumur hidup tertinggi sebesar 76,4%.
- Para penulis mengamati bahwa keuntungan hanya bertambah ketika kontrol regresi dibangun ke dalam loop optimasi untuk mencegah solusi jalan pintas.
Temuan tersebut menunjukkan bahwa memasukkan kontrol regresi memberikan bias induktif terhadap jalan pintas yang tidak menggeneralisasi, memungkinkan peningkatan berkelanjutan dalam pengaturan agen yang diterapkan.