연구자들은 대규모 언어 모델에서 G-V 격차를 해결하는 생성기-검증자 일관성의 새로운 공식화인 Frequency-Corrected Prompt Alignment (FCPA)를 소개합니다. 이 방법은 발화 빈도에 대한 원칙적인 보정을 적용하여, 생성기가 사전에 가능성이 낮은 문자열에 대해 유효한 문자열임에도 불구하고 낮은 우도를 할당하는 문제를 해결합니다.
- FCPA는 실제 LLM을 위한 빈도 보정된 G-V 일관성을 기반으로 하는 학습 목표를 구현합니다.
- FCPA로 훈련하면 기존 방법과 비교하여 G-V 일관성과 생성기 성능이 모두 크게 향상됩니다.
- 이 접근 방식은 IFEval 및 HumanEval 벤치마크에서 피어슨 상관계수 최대 +27pp의 향상을 가져옵니다.
- 생성기 성능의 향상에도 불구하고 평가된 모든 작업에서 검증자의 품질이 유지됩니다.
저자들은 이것이 생성과 검증 프로세스를 정렬하는 강력한 메커니즘을 제공하여 검증자의 능력을 저하시키지 않고 더 신뢰할 수 있는 모델 출력을 이끌어내기 때문에 중요하다고 봅니다.