研究者たちは、Replayed-Prefix On-Policy Distillation (ReOPD) を提案しました。これは、事前に収集された教師の軌道をリプレイドプレフィックスとして再利用することで、完全なオンラインオンポリシー蒸留の高いコストに対処するオフ環境手法です。このアプローチにより、学生モデルは選択されたステップで行動でき、教師は新しい環境相互作用を実行せずに、密なステップごとの指導を提供します。

  • ReOPDは、マルチターンOPDにおける「プレフィックストラップ」に対処します。これは、学生の関連性を改善すると信頼できない履歴に対して教師に問い合わせる可能性があるという問題です。
  • 分布シフトを管理するために、初期の低いシフトプレフィックスを強調するステップ減衰サンプリングスケジュールを実装しています。
  • 数学的推論および検索環境において、ReOPDはトレーニング中にゼロのツール呼び出しを使用しながら、精度を維持または向上させます。
  • この手法は、エージェントと環境の相互作用を再利用可能なオフラインリソースに変換することで、標準的なOPDと比較してトレーニングステップあたり少なくとも4倍高速です。