Une analyse en trois étapes montre que le SFT, le RL et l'OPD façonnent différemment la confiance du CoT

Une étude analyse comment le fine-tuning supervisé (SFT), l'apprentissage par renforcement (RL) et la distillation on-policy (OPD) remodelent la confiance du modèle lors du raisonnement en chaîne de pensée. Les auteurs introduisent un cadre de calibration en trois étapes évaluant la confiance avant, pendant et après le raisonnement pour évaluer l'estimation de la difficulté, l'arrêt anticipé et l'agrégation des réponses.

• L'OPD fournit la confiance pré-raisonnement la plus utile pour l'estimation de la difficulté.
• Le SFT offre le signal en ligne le plus fort pour l'arrêt anticipé.
• Le RL produit le signal au niveau de la trace le plus fiable pour l'agrégation des réponses.
• La fiabilité de la confiance dépend de la position ; le RL devient informatif après une phase d'engagement du chemin, tandis que l'OPD peut devenir inversement calibré plus tard.

Les auteurs proposent PosConf, une stratégie consciente de la position qui améliore l'agrégation des réponses du RL de 6,1 points par rapport au vote majoritaire et augmente les gains d'arrêt anticipé de l'OPD jusqu'à 4,3 points sous des budgets de tokens serrés.