저자들은 작업을 재정렬 문제로 모델링함으로써 선호 정렬에 테스트 시간 확장(TTS)을 확장하는 새로운 프레임워크인 REAR를 소개합니다. 이 접근 방식은 일반적으로 수학 및 코딩과 같은 검증 가능한 도메인으로 제한되는 기존 TTS 방법의 한계를 해결합니다.

  • REAR는 보상 함수를 두 구성 요소로 분해합니다: 질문 관련 구성 요소와 선호 정보 관련 구성 요소입니다.
  • 이 방법은 이러한 두 보상 항의 비율을 선택적으로 재스케일링하는 REAlignment Reward(REAR)를 유도합니다.
  • REAR는 토큰 수준 정책 로그 확률의 선형 결합으로 공식화되어 계산 효율성을 보장합니다.
  • best-of-N 샘플링 및 트리 탐색을 포함한 다양한 TTS 알고리즘과 쉽게 통합됩니다.
  • 실험은 다양한 사용자 요구 사항에 대한 확장성과 수학 및 시각적 작업에 대한 일반화를 보여줍니다.

이 프레임워크는 비용이 많이 드는 데이터 큐레이션이나 추가 학습 없이도 다양한 사용자 요구 사항 하에서 선호 정렬 작업에 대해 확장 가능한 테스트 시간 재정렬을 가능하게 합니다.