MiniMax가 하이브리드 어텐션 추론 모델 MiniMax-M1을 오픈 웨이트로 출시

MiniMax는 혼합 전문가(Mixture-of-Experts) 아키텍처와 번개 같은 어텐션 메커니즘을 갖춘 세계 최초의 오픈 웨이트 대규모 하이브리드 어텐션 추론 모델인 MiniMax-M1을 출시했습니다. 이 모델은 100만 토큰의 컨텍스트 길이를 네이티브로 지원하며, 소프트웨어 엔지니어링을 포함한 다양한 문제에 대한 강화 학습으로 훈련되었습니다.

• MiniMax-M1은 4560억 개의 파라미터를 포함하고 있으며, 토큰당 459억 개가 활성화되어 DeepSeek R1의 컨텍스트 크기의 8배를 제공합니다.
• 이 모델은 100K 토큰의 생성 길이에서 DeepSeek R1에 비해 FLOPs의 단 25%만 소비합니다.
• 40K와 80K의 사고 예산을 가진 두 가지 버전이 제공되며, M1-80k 변형은 복잡한 작업에서 Qwen3-235B와 같은 모델보다 우수한 성능을 보입니다.
• 출시에는 Transformers, vLLM, SGLang과 같은 라이브러리 사용 지침과 로컬 배포를 위한 Docker 이미지가 포함됩니다.

MiniMax-M1은 효율적인 테스트 타임 컴퓨팅 스케일링을 통해 추론하고 현실 세계의 과제에 대응하는 차세대 언어 모델 에이전트의 기반 역할을 합니다.