研究者らは、データ中心のフレームワークであるNeuron On-Policy Self-Distillation (Neuron-OPSD)を提案しました。これは内部ニューロン活性化を活用して、大規模言語モデルのトレーニングデータ選択と教師コンテキスト構築をガイドします。このアプローチは、教師分布からのオンポリシー蒸留によりモデルを訓練することで、注釈不要の自己蒸留を可能にし、正解ラベルの必要性を排除します。
この手法は、SFTやGRPOベースのバリアントにおけるドメイン外性能の低下、報酬ベースのオンポリシーRLにおける較正誤差の増大など、既存の注釈不要自己進化技術の限界に対処します。ニューロン活性化を用いてプロセスをガイドすることで、Neuron-OPSDはドメイン内タスクのパフォーマンスを向上させながら、クロスドメインの汎化能力を維持することを目指しています。
このフレームワークは、オンライン相互作用や外部監督のコストが高い、または実行不可能な環境向けに設計されており、ログされた報酬付きラベル付き軌道に依存するオフラインRLアプローチとは概念的に異なる代替手段を提供します。