يكشف تقييم واسع النطاق لطرق تقدير عدم اليقين (UE) عبر 22 لغةً أن توجيه النماذج للاستدلال باللغة الإنجليزية يعزّز الأداء بشكل كبير، لا سيما بالنسبة لللغات ذات الموارد المنخفضة. تقارن الدراسة تسع طرق UE من النوع open-box وclosed-box باستخدام مجموعات بيانات أسئلة وأجوبة من إعداد بشري مع تحفيز الاستدلال طويل الشكل.
- يؤدي توجيه النماذج للاستدلال باللغة الإنجليزية إلى تحسين أداء UE بشكل كبير حتى عندما تكون الأسئلة بلغات ذات موارد منخفضة، مما يشير إلى أن عنق الزجاجة للموثوقية يكمن في التوليد وليس الفهم.
- يُغلق استخدام اللغة الإنجليزية للاستدلال فجوة أداء UE بين اللغات ذات الموارد المنخفضة والعالية، مما يوضح أن لغة التوليد أهم من لغة السؤال.
- تعتمد طريقة UE المثلى على حجم النموذج: تتفوق الطرق open-box القائمة على الاحتمالات في الأحجام الأصغر، بينما تكون عدم اليقين self-verbalized من النوع closed-box متفوقة في الأحجام الأكبر.
يقدّم المؤلفون إرشادات حول اختيار العتبة للتنبؤ الانتقائي لمساعدة معايرة الامتناع في الإعدادات متعددة اللغات.