연구자들은 신뢰도 추정의 시간적 측면을 활용하여 대규모 언어 모델의 신뢰성을 개선하기 위해 미래 신뢰도 증류(future confidence distillation)를 소개했습니다. 이 방법은 해법 이후의 정확성 프로브에서 유도된 교사 신뢰도 추정치를 사용하여 해법 이전 은닉 표현 위의 예측기를 훈련합니다.
- 해법 이후 신뢰도는 해법 이전 신뢰도보다 일관되게 더 잘 보정되어 있으며 판별력이 높습니다.
- 은닉 표현 위에 훈련된 선형 프로브는 모델이 명시적으로 언어화하는 것보다 훨씬 풍부한 신뢰도 관련 정보를 복원합니다.
- 증류된 예측기는 추론 시 해법 이전 표현 위에서 작동하며, 해법 이후 방법들이 달성한 보정 개선의 상당 부분을 복원합니다.
- 이 접근 방식은 샘플 효율성이 높으며 동일한 도메인 내 데이터셋 간에 전이됩니다.
이 기법은 답변 생성이 완료되기 전에 신뢰도를 예측함으로써 훨씬 더 신뢰할 수 있으면서도 저비용의 신뢰도 추정을 가능하게 합니다.