研究者らは、PLVR（Program Learning with Verifiable Rewards）を発表しました。これはモデルの重みを更新するのではなく、決定論的およびニューラルなプリミティブで構成される明示的な推論プログラムを学習するポストトレーニング手法です。このアプローチは記号的逆伝播を利用し、信用配分は推定ではなくプリミティブのシグネチャに対する型推論によって行われます。

  • LiveCodeBench v6およびTau2Benchにおいて、PLVRを搭載した30Bベースモデルは、同等の予算で強化学習を平均して27.8ポイント上回ります。
  • この手法は、さらに1桁大きいフロンティアモデルも13.6ポイント上回ります。
  • 単一のプリミティブライブラリが両方のベンチマークに対応し、新しいタスクには追加のファインチューニングデータなしで100例のみを必要とします。
  • 実験により、均一サンプリングに対する優位性の源が逆伝播であることが特定されました。

著者らは、他のプリミティブライブラリへの適用を可能にするために、記号的逆伝播ライブラリと適合性チェッカーを公開しました。