作者提出了多教师在线策略蒸馏（MOPD），这是一种后训练范式，旨在将多个领域特定强化学习教师的特性整合到一个单一的学生模型中。该方法通过在自身 rollout 期间将教师蒸馏到学生中，消除了暴露偏差并提供了密集的优化信号。

  • MOPD 在 Qwen3-30B-A3B 上优于 Mix-RL、Cascade RL、Off-Policy Finetune 和 Param-Merge 基线，继承了每个教师的几乎所有能力。
  • 该方法使得领域教师能够并行独立开发，消除了多域后训练中典型的跨域耦合。
  • MOPD 已部署在工业级前沿模型 MiMo-V2-Flash 的后训练中。

这项工作通过允许高效组合专门技能而不损失性能，展示了前沿规模 LLM 能力集成的实用价值。