Para peneliti telah memperkenalkan "pedoman konsistensi" dalam sistem ALTK-Evolve, sebuah mekanisme baru yang dirancang untuk mengatasi variabilitas kinerja agen LLM yang sering disembunyikan oleh metrik akurasi rata-rata standar. Dengan mengidentifikasi dan menstabilkan titik-titik keputusan yang rentan terhadap perubahan, pendekatan ini secara signifikan meningkatkan konsistensi keberhasilan tugas tanpa mengorbankan kemampuan keseluruhan.
- Analyzer Konsistensi mendeteksi langkah-langkah "rentan flip" dengan melakukan resampling pada satu lintasan rekaman dengan k=5 penyelesaian, tanpa memerlukan kebenaran dasar atau jalanan ulang end-to-end.
- Pada pengujian AppWorld test_normal dengan agen ReAct yang menggunakan GPT-4.1, pedoman konsistensi mengurangi kesenjangan konsistensi (Mean@5 dikurangi Pass^5) dari 24,4 poin persentase menjadi 12,0 poin persentase.
- Pass^5 agregat meningkat dari 53,0% menjadi 69,0%, sementara Mean@5 naik sedikit dari 77,4% menjadi 81,0%, menjaga akurasi rata-rata.
- Metode ini dapat digeneralisasi ke tugas-tugas serupa, meningkatkan Pass^5 sebesar 13,0 poin persentase, dan menunjukkan manfaat yang dapat ditransfer pada model yang lebih lemah seperti gpt-oss-120b.
Karya ini menyoroti bahwa konsistensi adalah sumbu ortogonal terhadap kemampuan, mendesak pengembang untuk melaporkan Pass^k bersama Mean@k guna menilai keandalan agen dengan lebih baik di lingkungan produksi.