Los investigadores presentan CARE-PPO, un marco de aprendizaje por refuerzo que conecta la predicción de pérdida para estimación de incertidumbre con el ajuste fino PPO actor-crítico. Este enfoque permite el aprendizaje conjunto de estimaciones numéricas precisas y señales de confianza confiables en la predicción cuantitativa basada en lenguaje a partir de entradas no estructuradas.
- CARE-PPO utiliza Confidence-Aligned Reward for Estimation para proporcionar retroalimentación densa consciente del error al actor mientras alinea al crítico con la calidad de la predicción.
- El crítico se reutiliza como estimador de confianza durante la inferencia, superando a las líneas base basadas en logits y verbalizadas en alineación.
- Evaluado en tareas de salud y finanzas utilizando modelos Qwen-3 (4B y 8B), CARE-PPO logra un rendimiento cuantitativo sólido bajo configuraciones fuera de distribución.
- El método reduce el sobreajuste específico de la tarea en prompts generales de seguimiento de instrucciones, demostrando ventajas de generalización más amplias del ajuste fino RL.
CARE-PPO aborda la necesidad crítica de saber cuándo se pueden confiar las predicciones proporcionando estimaciones de confianza significativamente mejor alineadas que las líneas base existentes.