SplitMoE是一种替代性的混合专家（Mixture of Experts）架构，它将宽泛的前馈层分解为更小的、专门的子组件，以提高令牌表示的灵活性和计算模块化。

  • 与Mixtral等标准MoE相比，它采用了更细的粒度，允许令牌使用专门的参数路径来构建细微的表示。
  • 该方法将专家的隐藏维度切片，使得令牌仅激活它们需要的特定子网络，从而降低每个激活路径的FLOPs。
  • 与DeepSeekMoE不同，SplitMoE探索了跨中间维度的分割和分组机制，而不严格强制使用标准的固定共享路径。
  • 它专注于简化的分区策略，以保持路由轻量并避免沉重的调度开销。

作者提供了用于基准测试的模块化PyTorch实现，并邀请对路由稳定性和扩展行为的反馈。