研究者らは、大規模言語モデルにおけるG-Vギャップに対処する、生成器と検証者の整合性の新たな定式化であるFrequency-Corrected Prompt Alignment (FCPA)を紹介する。この手法は発話頻度に対する原理的な補正を適用し、生成器が事前になりにくい文字列に対して妥当な文字列であっても低い尤度を割り当てる問題を解決する。

  • FCPAは、現実のLLM向けに頻度補正されたG-V整合性に基づく学習目標を実装している。
  • FCPAでの学習は、従来の手法と比較して、G-V整合性と生成器のパフォーマンスの両方を大幅に改善する。
  • このアプローチにより、IFEvalおよびHumanEvalベンチマークにおいてピアソン相関で最大+27ppの向上をもたらす。
  • 生成器パフォーマンスの改善にもかかわらず、評価されたすべてのタスクで検証者の品質が維持されている。

著者らは、これが生成と検証のプロセスをアライメントするための堅牢なメカニズムを提供し、検証者の能力を低下させることなくより信頼性の高いモデル出力をもたらすため重要だと考えている。