A MiniMax lançou o MiniMax-M1, o primeiro modelo de raciocínio híbrido de grande escala com pesos abertos e atenção mista do mundo. Construído sobre a arquitetura MiniMax-Text-01, ele combina um design Mixture-of-Experts com um mecanismo de atenção relâmpago para permitir a escalonamento eficiente da computação no momento do teste.
- O modelo contém 456 bilhões de parâmetros, com 45,9 bilhões ativados por token e suporta um comprimento de contexto nativo de 1 milhão de tokens.
- Ele consome aproximadamente 25% das FLOPs do DeepSeek R1 em um comprimento de geração de 100K tokens.
- O treinamento utilizou um novo algoritmo RL chamado CISPO, que corta os pesos de amostragem de importância para estabilizar o treinamento e melhorar a eficiência.
- O treinamento completo de RL em 512 GPUs H800 foi concluído em três semanas, com um custo de aluguel de $534.700.
- Duas versões foram lançadas com orçamentos de pensamento de 40K e 80K, mostrando desempenho comparável ou superior ao do DeepSeek-R1 e Qwen3-235B em tarefas complexas.
O escalonamento eficiente da computação no momento do teste torna o MiniMax-M1 particularmente adequado para tarefas complexas que exigem entradas longas e raciocínio extenso.