研究者らは、凍結された言語モデルのデコーディング中に明示的な安全性制約の下で制御しつつ、繰り返し重み更新を行わないためのフレームワークであるラグランジュ報酬拡張（LARA）を提案する。LARAは制約を双対化し、最適化を1次元の凸問題に還元することで、既存の方法へのドロップイン・スコアリング信号として機能する拡張報酬を生成する。

  • この手法は、報酬モデルとコストモデルを用いたKL正則化制約付き目的関数に由来する。
  • 拡張報酬を定義するために、小さな補正セット上で双対変数を推定する。
  • Best-of-Nリランキングのようなシーケンスレベルのサンプリングでは、この変数は期待コスト制約問題を解く。
  • トークンレベルのデコーディングでは、原理的に双対較正されたヒューリスティックを提供する。

LARAは有用性と無害性のトレードオフを改善し、Best-of-Nのパフォーマンスはファインチューニングに基づく直接アライメントのベースラインに迫る。