Penulis membahas masalah output LLM non-deterministik yang disebabkan oleh invariansi batch pada tumpukan inferensi, bahkan pada suhu nol. Untuk memastikan pengujian yang andal, mereka merekomendasikan untuk mengulang eksekusi guna menghitung tingkat kelulusan daripada mengandalkan satu hasil.
- Gunakan eksekusi berulang untuk menentukan tingkat kelulusan alih-alih hasil tunggal yang tidak stabil.
- Terapkan output terstruktur untuk format yang konsisten.
- Gunakan hakim yang telah dikalibrasi untuk evaluasi.