MOPD: Distilação On-Policy de Multi-Professor para Integração de Capacidades no Pós-Treinamento de LLMs

Os autores propõem a Distilação On-Policy de Multi-Professor (MOPD), um paradigma de pós-treinamento projetado para integrar as capacidades de múltiplos professores de reforço específico de domínio em um único modelo estudante. Esta abordagem elimina o viés de exposição e fornece um sinal de otimização denso ao destilar os professores no estudante durante seus próprios rollouts.

• O MOPD supera as baselines Mix-RL, Cascade RL, Off-Policy Finetune e Param-Merge no Qwen3-30B-A3B, herdando quase todas as capacidades de cada professor.
• O método permite o desenvolvimento paralelo e independente de professores de domínio, removendo o acoplamento entre domínios típico do pós-treinamento multi-domínio.
• O MOPD foi implantado no pós-treinamento do MiMo-V2-Flash, um modelo fronteira em escala industrial.

Este trabalho demonstra valor prático para a integração de capacidades em LLMs de escala fronteira, permitindo a combinação eficiente de habilidades especializadas sem perda de desempenho.