RLSR, AURC를 활용한 선택적 예측으로 LLM 정렬

연구자들은 대규모 언어 모델(LLM)의 사후 학습(post-training) 단계에서 선택적 예측 성능을 최적화하기 위해 정렬하는 Reinforcement Learning for Selection Reward (RLSR)이라는 새로운 프레임워크를 제안했습니다. 기존 방법들이 정확도나 보정(calibration)에 중점을 두는 것과 달리, RLSR은 정렬 목표로 리스크-커버리지 곡선 아래 면적(AURC)을 타겟으로 합니다.

• 이 방법은 LLM이 자신에게 높은 확률로 정답일 것으로 예측되는 입력에 대해서만 예측을 수행하여 오류율을 줄이고 불확실한 사례를 인간 검토용으로 플래그 처리합니다.
• RLSR은 도메인 내(in-domain) 및 도메인 밖(out-of-domain) 작업 모두에서 여러 정렬 베이스라인과 비교해 훨씬 더 나은 리스크-커버리지 트레이드오프를 달성합니다.

이 접근 방식은 리스크-커버리지 트레이드오프를 균형 있게 맞추고 고위험 의사결정 시스템에서 원활한 인간-AI 협업을 가능하게 함으로써 LLM의 신뢰성을 향상시킵니다.