Sebuah studi menganalisis bagaimana penyetelan halus terawasi (SFT), pembelajaran penguatan (RL), dan distilasi on-policy (OPD) membentuk ulang kepercayaan model selama penalaran rantai-pemikiran. Para penulis memperkenalkan kerangka kalibrasi tiga tahap yang mengevaluasi kepercayaan sebelum, selama, dan setelah penalaran untuk menilai estimasi kesulitan, penghentian dini, dan agregasi jawaban.
- OPD memberikan kepercayaan pra-penalaran yang paling berguna untuk estimasi kesulitan.
- SFT menawarkan sinyal online terkuat untuk penghentian dini.
- RL menghasilkan sinyal tingkat jejak yang paling andal untuk agregasi jawaban.
- Keandalan kepercayaan bergantung pada posisi; RL menjadi informatif setelah fase komitmen jalur, sementara OPD dapat menjadi invers-kalibrasi nanti.
Para penulis mengusulkan PosConf, strategi sadar-posisi yang meningkatkan agregasi jawaban RL sebesar 6,1 poin dibandingkan pemungutan suara mayoritas dan meningkatkan keuntungan penghentian dini OPD hingga 4,3 poin di bawah anggaran token yang ketat.