Mach-Mind-4-Flash 技术报告介绍了一种拥有 350 亿参数的混合专家(MoE)智能体模型,其中仅激活了 30 亿参数。该成果通过训练后优化实现,无需扩展预训练计算量,其性能与 1000 亿参数级模型相当甚至更优。
该流水线包含三个关键阶段:提供 17% 训练加速的统一 RL/OPD 基础设施;用于融合领域特定专家的多教师在线策略蒸馏(MOPD);以及混合中位数长度策略优化(HMPO),在精度损失最小的情况下将推理链压缩 19–46%。
在 AIME'26 和 IFBench 等基准测试中,该模型的表现领先或匹敌激活参数量为其 10–30 倍的模型,同时提供更低比例的推理成本。