연구자들은 동결된 언어 모델의 디코딩 중에 명시적인 안전 제약 하에서 반복적인 가중치 업데이트 없이 모델을 유도하기 위한 프레임워크인 라그랑주 보상 증강(LARA)을 제안합니다. LARA는 제약을 쌍대화하여 최적화를 1차원 볼록 문제로 환원하고, 기존 방법에 대한 드롭인 스코어링 신호로 작용하는 증강 보상을 생성합니다.
- 이 방법은 보상 및 비용 모델을 사용한 KL 정규화 제약 목적 함수에서 유래합니다.
- 증강 보상을 정의하기 위해 작은 교정 세트에서 쌍대 변수를 추정합니다.
- Best-of-N 재순위와 같은 시퀀스 수준 샘플링의 경우, 이 변수는 기대 비용 제약 문제를 풉니다.
- 토큰 수준 디코딩의 경우, 원리적으로 쌍대 교정된 휴리스틱을 제공합니다.
LARA는 유용성과 무해성 간의 트레이드오프를 개선하며, Best-of-N 성능은 파인튜닝 기반 직접 정렬 베이스라인에 근접합니다.