MiniMax发布了MiniMax-M1，这是全球首款开源权重的混合注意力大规模推理模型。该模型基于MiniMax-Text-01架构构建，结合了专家混合（MoE）设计与闪电注意力机制，以实现测试时计算资源的高效扩展。

  • 该模型包含4560亿参数，每个token激活459亿参数，并原生支持100万token的上下文长度。
  • 在生成长度为100K token时，其消耗的FLOPs约为DeepSeek R1的25%。
  • 训练采用了一种名为CISPO的新型强化学习算法，通过裁剪重要性采样权重来稳定训练过程并提高效率。
  • 在512块H800 GPU上完成全量RL训练耗时三周，租赁成本为534,700美元。
  • 发布了两个版本，分别拥有40K和80K的思考预算，在复杂任务上的表现与DeepSeek-R1和Qwen3-235B相当或更优。

测试时计算资源的高效扩展使得MiniMax-M1特别适合需要长输入和广泛推理的复杂任务。