本論文では、Neuron On-Policy Self-Distillation (Neuron-OPSD) を紹介する。これはデータ中心のフレームワークであり、内部ニューロン活性化を活用して大規模言語モデルの訓練データ選択と教師コンテキスト構築をガイドする。このアプローチにより、正解ラベルや現実世界の相互作用フィードバックを必要とせず、注釈不要の自己蒸留が可能になる。

  • 既存手法の欠点を解消：SFT および GRPO ベースの派生手法はドメイン外性能が低下し、報酬ベースのオンポリシー RL は較正誤差を増大させる。
  • 内部ニューロン活性化を用いて訓練データ選択と教師コンテキスト構築の両方をガイドする。
  • 教師分布からのオンポリシー蒸留によりモデルを訓練し、どの段階でも正解ラベルを必要としない。

Neuron-OPSD はドメイン内タスク性能を向上させつつ、クロスドメイン汎化性を維持し、従来の注釈不要ベースラインに対して較正崩壊を緩和する。このフレームワークは、オンライン相互作用や外部教師信号のコストが高い、または実現が困難な設定において特に重要である。