Исследователи предлагают Reinforcement Learning for Selection Reward (RLSR), новую структуру, которая выравнивает большие языковые модели во время постобучения для оптимизации производительности селективного предсказания. В отличие от существующих методов, ориентированных на правильность или калибровку, RLSR использует площадь под кривой риска-покрытия (AURC) в качестве своей цели выравнивания.

  • Метод позволяет LLM делать предсказания только для входных данных, где они с высокой вероятностью верны, что снижает уровень ошибок и выделяет неопределенные случаи для проверки человеком.
  • RLSR демонстрирует существенно лучшее соотношение риска и покрытия по сравнению с несколькими базовыми методами выравнивания как на задачах внутри домена, так и вне его.

Этот подход повышает надежность LLM за счет балансировки соотношения риска и покрытия и обеспечивает бесшовное взаимодействие человека и ИИ в системах принятия решений с высокими ставками.