著者は、長期ホライズン・アジェンティックタスクにおけるバニラオンポリシー蒸留（OPD）の非効率性に対処するために設計されたターンレベルの予算配分戦略であるTurnOPDを提案する。この手法は、適応的なロールアウト深度の予算配分と漸進的なターン正規化損失予算配分を導入し、トレーニングリソースの最適化を図る。

  • フルホライズンのロールアウトは、弱くノイジーなKL教師信号を提供する末尾のターンに壁時計リソースを無駄遣いすることが多い。
  • トラジェクトリレベルのKL目的関数は、損失の大部分を浅いトークンに集中させ、深い意思決定ターンが不十分に訓練される結果となる。
  • TurnOPDはプローブベースのターン統計を使用してロールアウト長を決定し、KL重みをトークンレベルからターン均衡化された教師信号へと徐々にシフトさせる。

ALFWorld、WebShop、Multi-Hop Searchでの実験により、TurnOPDが同等の壁時計トレーニング予算においてバニラOPDと比較して優れた検証精度を達成することが示された。