MiniMaxは、世界初のオープンウェイト大規模ハイブリッドアテンション推論モデルであるMiniMax-M1をリリースしました。MiniMax-Text-01アーキテクチャに基づいて構築され、Mixture-of-Experts設計とライトニングアテンションメカニズムを組み合わせて、テスト時の計算資源の効率的なスケーリングを実現しています。

  • 4560億パラメータを持ち、トークンあたり459億が活性化し、ネイティブのコンテキスト長は100万トークンをサポートします。
  • 生成長100Kトークンにおいて、DeepSeek R1のFLOPsの約25%しか消費しません。
  • 訓練にはCISPOという新しいRLアルゴリズムが使用され、重要度サンプリング重みをクリップして訓練を安定させ、効率を向上させました。
  • 512台のH800 GPUでの完全なRL訓練は3週間で完了し、レンタルコストは53万4700ドルでした。
  • 思考予算が40Kと80Kの2つのバージョンがリリースされ、複雑なタスクにおいてDeepSeek-R1やQwen3-235Bと同等またはそれ以上のパフォーマンスを示しています。

テスト時の計算資源の効率的なスケーリングにより、MiniMax-M1は長い入力と広範な推論を必要とする複雑なタスクに特に適しています。