研究人员引入了Frequency-Corrected Prompt Alignment (FCPA)，这是一种新的生成器-验证器一致性公式，旨在解决大语言模型中的G-V差距。该方法对语句频率应用了原则性修正，解决了生成器仅因为某些字符串先验上不太可能而给有效字符串分配低概率的问题。

  • FCPA 为现实世界的LLM实现了基于频率校正的G-V一致性的训练目标。
  • 与先前方法相比，使用FCPA进行训练显著提高了G-V一致性和生成器性能。
  • 该方法在IFEval和HumanEval基准测试中带来了高达+27pp的皮尔逊相关性增益。
  • 尽管生成器性能有所提升，但验证器的质量在所有评估任务中都得到了保持。

作者认为这很重要，因为它提供了一种稳健的对齐生成和验证过程的机制，从而在不降低验证器能力的情况下产生更可靠的模型输出。