研究者らは、外部の監督なしでモデル自身の生成のみを使用して大規模言語モデルのトレーニング後の改善を実現する手法である教師なしオンポリシー自己蒸留（U-OPSD）を提案した。このアプローチは複数のロールアウトをサンプリングして多数決により疑似解を構築し、教師分布をモデルの最長の不正解完了のプレフィックスに蒸留する。

  • U-OPSDは、AIME24、MATH500、AMC23などのベンチマークにおいて、Qwen3非思考モードで4Bおよび8Bスケールベースモデルをそれぞれ8.5%および10.7%向上させる。
  • 非思考モードにおいて、OPSDなどの教師あり手法よりも平均して3.2%および2.3%優れている。
  • 思考モードでは、U-OPSDはOPSDとGRPOに匹敵するかそれを超え、8Bスケールでは後者を最大1.1%上回る。

この手法は、内部の一貫性を通じて真の自己蒸留が可能であることを示し、教師ありトレーニング信号に対する競争力のある代替手段を提供する。