Исследователи представляют CARE-PPO, фреймворк обучения с подкреплением, который связывает прогнозирование потерь для оценки неопределённости с дообучением actor-critic PPO. Этот подход позволяет совместно обучать точным численным оценкам и надёжным сигналам уверенности при языковой количественной предсказательной задаче из неструктурированных входных данных.

  • CARE-PPO использует Confidence-Aligned Reward for Estimation для предоставления плотной обратной связи, учитывающей ошибки, актору, одновременно согласуя критика с качеством предсказания.
  • Критик переиспользуется как оценщик уверенности во время вывода, превосходя логит-базовые и вербализованные базовые методы по уровню согласования.
  • Оценка проводилась на задачах здравоохранения и финансов с использованием моделей Qwen-3 (4B и 8B); CARE-PPO демонстрирует сильную количественную производительность в условиях вне распределения (out-of-distribution).
  • Метод снижает переобучение под конкретные задачи на общих промптах для следования инструкциям, демонстрируя более широкие преимущества обобщения RL дообучения.

CARE-PPO решает критическую необходимость знать, когда предсказаниям можно доверять, предоставляя значительно лучше согласованные оценки уверенности по сравнению с существующими базовыми методами.