著者は、タスクを再整列問題としてモデル化することで、選好アライメントにテスト時のスケーリング（TTS）を拡張する革新的なフレームワークである REAR を導入しました。このアプローチは、数学やコーディングなどの検証可能なドメインに制限されている既存の TTS 方法の限界に対処します。

  • REAR は報酬関数を2つのコンポーネントに分解します：1つは質問に関連するもの、もう1つは選好情報に関連するものです。
  • この手法は、これらの2つの報酬項の割合を選択的に再スケーリングする REAlignment Reward (REAR) を導出します。
  • REAR は、トークンレベルのポリシー対数確率の線形結合として定式化され、計算効率を保証します。
  • best-of-N サンプリングや木探索など、さまざまな TTS アルゴリズムと簡単に統合できます。
  • 実験は、多様なユーザー要件へのスケーラビリティと、数学的および視覚的タスクへの汎化能力を示しています。

このフレームワークにより、高価なデータキュレーションや追加のトレーニングを必要とせずに、多様なユーザー要件の下で選好アライメントタスクのスケーラブルなテスト時の再整列が可能になります。