Sebuah studi pada Terminal-Bench 2.0 mengevaluasi apakah keuntungan pengoptimalan agen terakumulasi seiring waktu dengan membandingkan GEPA, Meta Harness, dan Pembelajaran Berkelanjutan yang Dapat Diverifikasi (RELAI-VCL) dari RELAI. Penelitian ini menguji apakah agen yang dioptimalkan dapat meningkatkan kinerja pada tugas baru tanpa mengurangi keuntungan sebelumnya.
- Agen teroptimasi GEPA mentransfer di bawah baseline yang tidak teroptimasi ketika tugas baru diperkenalkan.
- Meta Harness mentransfer dengan baik tetapi gagal meningkat lebih lanjut dengan anggaran optimisasi kedua.
- RELAI-VCL adalah satu-satunya metode yang mentransfer secara positif dan terus meningkat, mencapai tingkat kelulusan rata-rata seumur hidup 76,4% dibandingkan 66,0% untuk GEPA dan 64,6% untuk Meta Harness.
Para penulis menyimpulkan bahwa keuntungan optimisasi hanya terakumulasi ketika kontrol regresi dibangun ke dalam loop optimisasi untuk mencegah solusi jalan pintas.