Les chercheurs présentent CARE-PPO, un cadre d'apprentissage par renforcement qui relie la prédiction de perte pour l'estimation de l'incertitude au réglage fin PPO actor-critic. Cette approche permet l'apprentissage conjoint d'estimations numériques précises et de signaux de confiance fiables dans la prédiction quantitative basée sur le langage à partir d'entrées non structurées.
- CARE-PPO utilise une Récompense Alignée sur la Confiance pour l'Estimation (Confidence-Aligned Reward for Estimation) pour fournir un feedback dense conscient des erreurs à l'acteur tout en alignant le critique avec la qualité de la prédiction.
- Le critique est réutilisé comme estimateur de confiance lors de l'inférence, surpassant les bases de référence basées sur les logits et verbalisées en termes d'alignement.
- Évalué sur des tâches de santé et de finance utilisant les modèles Qwen-3 (4B et 8B), CARE-PPO atteint des performances quantitatives solides dans des paramètres hors distribution.
- La méthode réduit le surapprentissage spécifique à la tâche sur des invites générales de suivi d'instructions, démontrant des avantages de généralisation plus larges du réglage fin RL.
CARE-PPO répond au besoin critique de savoir quand les prédictions peuvent être faites confiance en fournissant des estimations de confiance nettement mieux alignées que les bases de référence existantes.