著者は、マルチティーチャーオンポリシー蒸留（MOPD）を提案しました。これは、複数のドメイン固有の強化学習教師の能力を単一の学生モデルに統合するために設計されたポストトレーニングのパラダイムです。このアプローチは、自身のロールアウト中に教師を学生に蒸留することで、曝露バイアスを排除し、密な最適化シグナルを提供します。

  • MOPDはQwen3-30B-A3Bにおいて、Mix-RL、Cascade RL、Off-Policy Finetune、Param-Mergeのベースラインを上回り、各教師の能力のほぼすべてを継承しています。
  • この手法により、ドメイン教師の並列かつ独立した開発が可能になり、マルチドメインポストトレーニングに典型的なクロスドメイン結合が解消されます。
  • MOPDは、産業規模のフロンティアモデルであるMiMo-V2-Flashのポストトレーニングにデプロイされました。

この研究は、パフォーマンスの低下なしに専門的なスキルを効率的に組み合わせることを可能にし、フロンティアスケールのLLMにおける能力統合の実用的な価値を示しています。