22 भाषाओं में अनिश्चितता अनुमान (UE) विधियों के एक बड़े पैमाने पर मूल्यांकन से पता चलता है कि मॉडलों को अंग्रेज़ी में तर्क देने से प्रदर्शन में महत्वपूर्ण सुधार होता है, विशेष रूप से कम संसाधनों वाली भाषाओं के लिए। अध्ययन मानव-संरचित प्रश्नोत्तर डेटासेट का उपयोग करते हुए लंबे प्रारूप के तर्क को उत्पन्न करते समय नौ खुले और बंद-बॉक्स UE विधियों की तुलना करता है।
- जब प्रश्न कम संसाधनों वाली भाषाओं में होते हैं, तो मॉडलों को अंग्रेज़ी में तर्क देने से UE प्रदर्शन में काफी सुधार होता है, जो इंगित करता है कि विश्वसनीयता की बाधा समझने के बजाय उत्पन्न करने में निहित है।
- तर्क के लिए अंग्रेज़ी का उपयोग कम और उच्च संसाधनों वाली भाषाओं के बीच UE प्रदर्शन अंतर को समाप्त करता है, यह दर्शाते हुए कि प्रश्न की भाषा से अधिक उत्पन्न करने की भाषा मायने रखती है।
- इष्टतम UE विधि मॉडल पैमाने पर निर्भर करती है: छोटे पैमाने पर खुले-बॉक्स संभावना-आधारित विधियां विकल्पों से बेहतर प्रदर्शन करती हैं, जबकि बड़े पैमाने पर बंद-बॉक्स स्व-कथित अनिश्चितता श्रेष्ठ होती है।
लेखकों ने बहुभाषी सेटिंग्स में वर्जन को कैलिब्रेट करने में मदद के लिए चयनात्मक पूर्वानुमान के लिए थ्रेशोल्ड चयन पर मार्गदर्शन प्रदान किया है।