MiniMax publie M1, un modèle de raisonnement à poids ouverts avec une attention éclair

MiniMax a publié MiniMax-M1, le premier modèle de raisonnement hybride à grande échelle et à poids ouverts au monde. Construit sur l'architecture MiniMax-Text-01, il combine une conception Mixture-of-Experts avec un mécanisme d'attention éclair pour permettre une mise à l'échelle efficace du calcul en phase de test.

• Le modèle contient 456 milliards de paramètres avec 45,9 milliards activés par token et prend en charge une longueur de contexte native de 1 million de tokens.
• Il consomme environ 25 % des FLOPs de DeepSeek R1 pour une longueur de génération de 100K tokens.
• L'entraînement a utilisé un nouvel algorithme RL appelé CISPO, qui clippe les poids d'échantillonnage d'importance pour stabiliser l'entraînement et améliorer l'efficacité.
• L'entraînement complet en RL sur 512 GPU H800 s'est achevé en trois semaines pour un coût de location de 534 700 $.
• Deux versions sont publiées avec des budgets de réflexion de 40K et 80K, affichant des performances comparables ou supérieures à celles de DeepSeek-R1 et Qwen3-235B sur des tâches complexes.

L'efficacité de la mise à l'échelle du calcul en phase de test rend MiniMax-M1 particulièrement adapté aux tâches complexes nécessitant de longs entrées et un raisonnement approfondi.