MiniMaxは、世界初のオープンウェイト大規模ハイブリッドアテンション推論モデルであるMiniMax-M1をリリースしました。このモデルはMixture-of-Expertsアーキテクチャとライトニングアテンションメカニズムを搭載しています。モデルは100万トークンのコンテキスト長をネイティブにサポートし、ソフトウェアエンジニアリングを含む多様な問題に対する強化学習でトレーニングされています。

  • MiniMax-M1は4560億パラメータを持ち、1つのトークンあたり459億がアクティブ化され、DeepSeek R1の8倍のコンテキストサイズを提供します。
  • 生成長が100Kトークンの場合、DeepSeek R1と比較してFLOPsのわずか25%しか消費しません。
  • 思考予算として40Kと80Kの2つのバージョンがあり、M1-80kバリアントは複雑なタスクにおいてQwen3-235Bなどのモデルを上回ります。
  • リリースにはTransformers、vLLM、SGLangなどのライブラリの使用方法の説明が含まれており、ローカルデプロイ用のDockerイメージも提供されています。

MiniMax-M1は、テスト時の計算リソースの効率的なスケーリングを通じて推論し現実世界の問題に対処する次世代の言語モデルエージェントのための基盤となります。