Sebuah studi mengevaluasi apakah peningkatan optimisasi agen terakumulasi seiring waktu dengan menguji tiga metode—GEPA, Meta Harness, dan RELAI-VCL—pada tugas-tugas sulit Terminal-Bench 2.0. Meskipun semua metode meningkatkan baseline statis, hanya RELAI-VCL yang berhasil bertransisi ke tugas yang belum pernah dilihat dan terus meningkat setelah putaran optimisasi berikutnya.

  • Agen yang dioptimalkan oleh GEPA berkinerja di bawah baseline yang tidak dioptimalkan ketika tugas baru diperkenalkan.
  • Meta Harness bertransisi dengan baik tetapi gagal meningkatkan lebih lanjut dengan anggaran optimisasi kedua.
  • RELAI-VCL mencapai tingkat keberhasilan rata-rata seumur hidup tertinggi sebesar 76,4%, dibandingkan dengan 66,0% untuk GEPA, 64,6% untuk Meta Harness, dan 58,7% untuk baseline.

Para penulis menyimpulkan bahwa peningkatan optimisasi hanya terakumulasi ketika kontrol regresi dibangun ke dalam loop, memberikan bias induktif terhadap solusi jalan pintas.