CARE-PPO는 언어 기반 정량적 작업에서 정확한 예측과 신뢰할 수 있는 확신의 공동 학습을 가능하게 함

연구자들은 불확실성 추정을 위한 손실 예측과 액터-크리틱 PPO 파인튜닝을 연결하는 강화학습 프레임워크인 CARE-PPO를 소개합니다. 이 접근 방식은 비정형 입력으로부터 언어 기반 정량적 예측에서 정확한 수치 추정치와 신뢰할 수 있는 확신 신호의 공동 학습을 가능하게 합니다.

• CARE-PPO는 액터에 밀도 있는 오류 인식 피드백을 제공하고 크리틱을 예측 품질과 정렬시키기 위해 Confidence-Aligned Reward for Estimation을 활용합니다.
• 크리틱은 추론 동안 확신 추정자로 재사용되며, 로짓 기반 및 언어화된 베이스라인보다 정렬 측면에서 우수합니다.
• Qwen-3 모델(4B 및 8B)을 사용하여 의료 및 금융 작업으로 평가된 CARE-PPO는 분포 밖 설정에서 강력한 정량적 성능을 달성합니다.
• 이 방법은 일반적인 지시 따르기 프롬프트에서 작업 특화 과적합을 줄이며, RL 파인튜닝의 더 넓은 일반화 이점을 보여줍니다.

CARE-PPO는 기존 베이스라인보다 훨씬 잘 정렬된 확신 추정을 제공하여 예측을 신뢰할 수 있는 시기를 아는 중요한 필요성에 대응합니다.