연구는 지도 미세 조정(SFT), 강화 학습(RL), 온-정책 증류(OPD)이 사고 사슬 추론 동안 모델 신뢰도를 어떻게 재형성하는지 분석합니다. 저자들은 난도 추정, 조기 종료 및 답변 집계를 평가하기 위해 추론 전, 중, 후의 신뢰도를 평가하는 3단계 보정 프레임워크를 도입했습니다.

  • OPD는 난도 추정에 가장 유용한 추론 전 신뢰도를 제공합니다.
  • SFT는 조기 정지에 가장 강력한 온라인 신호를 제공합니다.
  • RL은 답변 집계에 가장 신뢰할 수 있는 추적 수준 신호를 생성합니다.
  • 신뢰도 신뢰성은 위치에 따라 다르며, RL은 경로 확정 단계 이후에 유용해지고 OPD는 나중에 역보정될 수 있습니다.

저자들은 다수결 투표보다 6.1 포인트 향상되고 엄격한 토큰 제한 하에서 OPD 조기 종료 이점을 최대 4.3 포인트까지 높이는 위치 인식 전략인 PosConf를 제안합니다.