MiniMax ha lanzado MiniMax-M1, el primer modelo de razonamiento híbrido de atención a gran escala con pesos abiertos del mundo. Basado en la arquitectura MiniMax-Text-01, combina un diseño de Mezcla de Expertos con un mecanismo de atención relámpago para permitir una escalabilidad eficiente del cómputo durante la inferencia.
- El modelo contiene 456 mil millones de parámetros con 45.9 mil millones activados por token y admite una longitud de contexto nativa de 1 millón de tokens.
- Consume aproximadamente el 25% de los FLOPs de DeepSeek R1 en una longitud de generación de 100K tokens.
- El entrenamiento utilizó un nuevo algoritmo de RL llamado CISPO, que recorta los pesos de muestreo por importancia para estabilizar el entrenamiento y mejorar la eficiencia.
- El entrenamiento completo de RL en 512 GPUs H800 se completó en tres semanas con un costo de alquiler de $534,700.
- Se lanzan dos versiones con presupuestos de pensamiento de 40K y 80K, mostrando un rendimiento comparable o superior al de DeepSeek-R1 y Qwen3-235B en tareas complejas.
La escalabilidad eficiente del cómputo durante la inferencia hace que MiniMax-M1 sea particularmente adecuado para tareas complejas que requieren entradas largas y razonamiento extenso.