MiniMax выпустила MiniMax-M1, первую в мире крупномасштабную гибридную модель для рассуждений с открытыми весами. Построенная на архитектуре MiniMax-Text-01, она сочетает дизайн Mixture-of-Experts с механизмом молниеносного внимания (lightning attention), что обеспечивает эффективное масштабирование вычислений на этапе тестирования.
- Модель содержит 456 миллиардов параметров, из которых 45,9 миллиарда активируется на токен, и поддерживает нативную длину контекста в 1 миллион токенов.
- Она потребляет примерно 25% FLOPs от DeepSeek R1 при длине генерации в 100K токенов.
- Обучение использовало новый алгоритм RL под названием CISPO, который обрезает веса выборки важности для стабилизации обучения и повышения эффективности.
- Полное обучение с подкреплением на 512 GPU H800 завершилось за три недели при стоимости аренды в $534,700.
- Выпущены две версии с бюджетами мышления в 40K и 80K, демонстрирующие производительность, сопоставимую или превосходящую DeepSeek-R1 и Qwen3-235B на сложных задачах.
Эффективное масштабирование вычислений на этапе тестирования делает MiniMax-M1 особенно подходящей для сложных задач, требующих длинных входных данных и обширных рассуждений.