CARE-PPO memungkinkan pembelajaran gabungan prediksi akurat dan kepercayaan yang andal dalam tugas kuantitatif berbasis bahasa

Para peneliti memperkenalkan CARE-PPO, sebuah kerangka pembelajaran penguatan yang menghubungkan prediksi kerugian untuk estimasi ketidakpastian dengan penyetelan halus PPO aktor-kritik. Pendekatan ini memungkinkan pembelajaran gabungan perkiraan numerik yang akurat dan sinyal kepercayaan yang andal dalam prediksi kuantitatif berbasis bahasa dari input tidak terstruktur.

• CARE-PPO memanfaatkan Confidence-Aligned Reward for Estimation untuk memberikan umpan balik yang sadar kesalahan secara padat kepada aktor sambil menyelaraskan kritikus dengan kualitas prediksi.
• Kritikus digunakan kembali sebagai estimator kepercayaan selama inferensi, mengungguli baseline berbasis logit dan verbalisasi dalam hal keselarasan.
• Dievaluasi pada tugas kesehatan dan keuangan menggunakan model Qwen-3 (4B dan 8B), CARE-PPO mencapai kinerja kuantitatif yang kuat di bawah pengaturan out-of-distribution.
• Metode ini mengurangi overfitting spesifik-tugas pada prompt pengikut instruksi umum, menunjukkan keunggulan generalisasi yang lebih luas dari penyetelan halus RL.

CARE-PPO mengatasi kebutuhan kritis untuk mengetahui kapan prediksi dapat dipercaya dengan memberikan estimasi kepercayaan yang jauh lebih selaras daripada baseline yang ada.