Evaluasi skala besar terhadap metode estimasi ketidakpastian (UE) di 22 bahasa mengungkapkan bahwa memandu model untuk bernalar dalam bahasa Inggris secara signifikan meningkatkan kinerja, terutama untuk bahasa dengan sumber daya rendah. Studi ini membandingkan sembilan metode UE open-box dan closed-box menggunakan dataset Q&A yang dikurasi oleh manusia sambil memicu penalaran bentuk panjang.
- Memandu model untuk bernalar dalam bahasa Inggris secara substansial meningkatkan kinerja UE bahkan ketika pertanyaan berada dalam bahasa dengan sumber daya rendah, menunjukkan bahwa hambatan keandalan terletak pada generasi daripada pemahaman.
- Menggunakan bahasa Inggris untuk penalaran menutup kesenjangan kinerja UE antara bahasa dengan sumber daya rendah dan tinggi, menunjukkan bahwa bahasa generasi lebih penting daripada bahasa pertanyaan.
- Metode UE optimal bergantung pada skala model: metode open-box berbasis probabilitas unggul pada skala yang lebih kecil, sementara ketidakpastian self-verbalized closed-box lebih unggul pada skala yang lebih besar.
Para penulis memberikan panduan tentang pemilihan ambang batas untuk prediksi selektif guna membantu kalibrasi penolakan dalam pengaturan multibahasa.