MiniMax telah merilis MiniMax-M1, model penalaran hibrida-attention skala besar bobot terbuka pertama di dunia. Dibangun di atas arsitektur MiniMax-Text-01, model ini menggabungkan desain Mixture-of-Experts dengan mekanisme lightning attention untuk memungkinkan penskalaan komputasi saat pengujian yang efisien.

  • Model ini memiliki 456 miliar parameter dengan 45,9 miliar parameter aktif per token dan mendukung panjang konteks asli sebesar 1 juta token.
  • Model ini mengonsumsi sekitar 25% dari FLOPs DeepSeek R1 pada panjang generasi 100K token.
  • Pelatihan memanfaatkan algoritma RL baru bernama CISPO, yang memotong bobot sampling kepentingan untuk menstabilkan pelatihan dan meningkatkan efisiensi.
  • Pelatihan RL penuh pada 512 GPU H800 selesai dalam tiga minggu dengan biaya sewa sebesar $534.700.
  • Dua versi dirilis dengan anggaran berpikir 40K dan 80K, menunjukkan kinerja yang sebanding atau lebih unggul daripada DeepSeek-R1 dan Qwen3-235B pada tugas-tugas kompleks.

Penskalaan komputasi saat pengujian yang efisien membuat MiniMax-M1 sangat cocok untuk tugas-tugas kompleks yang memerlukan input panjang dan penalaran ekstensif.