一位Reddit用户挑战了这样一种观点，即混合专家（MoE）模型仅仅因为激活参数较少就劣于稠密模型，并以Qwen 3.5 122B仅有10B激活参数为例。

  • 该用户认为，如果122B的MoE模型等同于10B的稠密模型，提供商本会发布更快的稠密版本，因为它避免了路由开销。
  • 他们提出，MoE模型的价值取决于路由器在激活其总参数潜力时选择最优专家的有效性。
  • 帖子强调，某些MoE架构可能比其他架构更有效，这意味着比较比简单的激活参数计数更为复杂。