Pesquisadores introduzem o CARE-PPO, um framework de aprendizado por reforço que conecta a previsão de perda para estimativa de incerteza com o ajuste fino PPO actor-critic. Esta abordagem permite o aprendizado conjunto de estimativas numéricas precisas e sinais de confiança confiáveis na previsão quantitativa baseada em linguagem a partir de entradas não estruturadas.
- O CARE-PPO utiliza Confidence-Aligned Reward for Estimation para fornecer feedback denso consciente do erro ao actor enquanto alinha o critic com a qualidade da previsão.
- O critic é reaproveitado como estimador de confiança durante a inferência, superando linhas de base baseadas em logits e verbalizadas em alinhamento.
- Avaliado em tarefas de saúde e finanças usando modelos Qwen-3 (4B e 8B), o CARE-PPO alcança desempenho quantitativo robusto sob configurações fora da distribuição.
- O método reduz o overfitting específico de tarefa em prompts gerais de follow-up de instruções, demonstrando vantagens de generalização mais amplas do ajuste fino RL.
O CARE-PPO aborda a necessidade crítica de saber quando as previsões podem ser confiáveis, fornecendo estimativas de confiança significativamente melhor alinhadas do que as linhas de base existentes.