저자들은 여러 도메인 특화 강화 학습 교사의 능력을 단일 학생 모델에 통합하도록 설계된 사후 훈련 패러다임인 멀티-티처 온-폴리시 증류(MOPD)를 제안합니다. 이 접근 방식은 자체 롤아웃 동안 교사들을 학생에게 증류하여 노출 편향을 제거하고 밀집된 최적화 신호를 제공합니다.

  • MOPD는 Qwen3-30B-A3B에서 Mix-RL, Cascade RL, Off-Policy Finetune 및 Param-Merge 기반 모델보다 우수하며 각 교사의 능력을 거의 모두 계승합니다.
  • 이 방법은 도메인 교사들의 병렬 독립적 개발을 가능하게 하여 멀티-도메인 사후 훈련의 일반적인 교차 도메인 결합을 제거합니다.
  • MOPD는 산업 규모의 프런티어 모델인 MiMo-V2-Flash의 사후 훈련에 배포되었습니다.

이 작업은 성능 손실 없이 전문 기술을 효율적으로 조합할 수 있게 함으로써 프런티어 규모 LLM의 능력 통합에 실용적인 가치를 입증합니다.