एक अध्ययन विश्लेषण करता है कि पर्यवेक्षित सूक्ष्म-प्रशिक्षण (SFT), पुनर्बल सीखना (RL) और ऑन-पॉलिसी डिस्टिलेशन (OPD) चेन-ऑफ-थॉट तर्क के दौरान मॉडल आत्मविश्वास को कैसे पुनः आकार देते हैं। लेखकों ने कठिनाई अनुमान, शीघ्र समाप्ति और उत्तर एग्रीगेशन का आकलन करने के लिए तर्क से पहले, दौरान और बाद में आत्मविश्वास का मूल्यांकन करने वाले तीन-चरण कैलिब्रेशन फ्रेमवर्क पेश किया।
- OPD कठिनाई अनुमान के लिए सबसे उपयोगी प्री-तर्क आत्मविश्वास प्रदान करता है।
- SFT शीघ्र रोकने के लिए सबसे मजबूत ऑनलाइन संकेत प्रदान करता है।
- RL उत्तर एग्रीगेशन के लिए सबसे विश्वसनीय ट्रेस-स्तर संकेत उत्पन्न करता है।
- आत्मविश्वास विश्वसनीयता स्थिति पर निर्भर है; एक पथ-कमिटमेंट चरण के बाद RL सूचनात्मक हो जाता है, जबकि OPD बाद में व्युत्क्रम कैलिब्रेटेड बन सकता है।
लेखकों ने PosConf प्रस्तावित किया, एक स्थिति-जागरूक रणनीति जो बहुमत वोटिंग पर 6.1 अंक से RL उत्तर एग्रीगेशन को सुधारती है और कठोर टोकन बजट के तहत OPD शीघ्र रोक लाभों को 4.3 अंक तक बढ़ाती है।