Un estudio analiza cómo el ajuste fino supervisado (SFT), el aprendizaje por refuerzo (RL) y la destilación on-policy (OPD) reconfiguran la confianza del modelo durante el razonamiento en cadena. Los autores introducen un marco de calibración en tres etapas que evalúa la confianza antes, durante y después del razonamiento para evaluar la estimación de dificultad, la terminación temprana y la agregación de respuestas.

  • OPD proporciona la confianza pre-razonamiento más útil para la estimación de dificultad.
  • SFT ofrece la señal en línea más fuerte para la parada temprana.
  • RL produce la señal a nivel de traza más fiable para la agregación de respuestas.
  • La fiabilidad de la confianza depende de la posición; RL se vuelve informativo después de una fase de compromiso de ruta, mientras que OPD puede volverse inversamente calibrado más tarde.

Los autores proponen PosConf, una estrategia consciente de la posición que mejora la agregación de respuestas de RL en 6.1 puntos sobre el voto mayoritario y aumenta las ganancias de parada temprana de OPD hasta 4.3 puntos bajo presupuestos estrictos de tokens.