作者介绍了 REAR，这是一种新颖的框架，通过将任务建模为重新对齐问题，将测试时扩展（TTS）扩展到偏好对齐。这种方法解决了现有 TTS 方法的局限性，这些方法通常仅限于可验证的领域，如数学和编程。

  • REAR 将奖励函数分解为两个部分：一个与问题相关，另一个与偏好信息相关。
  • 该方法推导出一个重新对齐奖励（REAR），选择性地对这两个奖励项的比例进行重新缩放。
  • REAR 被表述为 token 级策略对数概率的线性组合，确保了计算效率。
  • 它可以轻松集成到各种 TTS 算法中，包括最佳 N 采样和树搜索。
  • 实验证明了其可扩展性，能够满足多样化的用户需求，并泛化到数学和视觉任务。

该框架使得在多样化用户需求下，无需昂贵的数据策展或额外训练，即可实现偏好对齐任务的规模化测试时重新对齐。