TACO의 꼬리 인식 신용 보정은 LLM 강화 학습에서 긍정적 신용 오염을 완화한다

연구자들은 Tail-Aware Credit calibratiOn (TACO)를 제안했다. 이는 대규모 언어 모델의 비평가 없는 강화 학습에서 "Positive-Credit Contamination" 실패 모드를 해결하는 방법이다. 이 문제는 균일한 신용 할당이 타당한 토큰과 함께 오류가 있는 낮은 확률 토큰을 무차별적으로 강화할 때 발생한다.

• TACO는 국소 생성 컨텍스트를 기반으로 꼬리 위험 점수를 계산하여 예외적인 희귀성과 불확실성 기반 탐색을 구분한다.
• 이 방법은 위험한 토큰에 대한 긍정적 신용을 조정하여 우발적 노이즈를 점진적으로 억제하면서 반복적으로 나타나는 유용한 희귀 패턴이 강화 신호를 축적할 수 있도록 한다.
• 세 가지 LLM과 여덟 개의 벤치마크에 걸친 실험 결과, TACO가 GRPO 스타일 기반 모델보다 일관되게 우수한 성능을 보임을 보였다.
• 이 접근법은 훈련 안정성을 향상시켜 장기 RL에서 지속적 성능 향상을 지원한다.

저자들은 이것이 결함이 있는 추론 행동의 강화를 완화하여 복잡한 추론 작업에 대해 더 안정적이고 효과적인 학습을 가능하게 하기 때문에 중요하다고 본다.