MiniMax가 번개 어텐션을 갖춘 오픈 가중치 추론 모델 M1 출시

MiniMax는 세계 최초의 오픈 가중치 대규모 하이브리드 어텐션 추론 모델인 MiniMax-M1을 출시했습니다. MiniMax-Text-01 아키텍처를 기반으로 구축된 이 모델은 전문가 혼합(Mixture-of-Experts) 설계와 번개 어텐션(lightning attention) 메커니즘을 결합하여 테스트 타임 컴퓨팅의 효율적인 확장을 가능하게 합니다.

• 이 모델은 4560억 개의 매개변수를 포함하며 토큰당 459억 개가 활성화되고, 100만 토큰의 네이티브 컨텍스트 길이를 지원합니다.
• 100K 토큰의 생성 길이에서 DeepSeek R1의 FLOPs 약 25%를 소비합니다.
• 훈련에는 중요도 샘플링 가중치를 클리핑하여 훈련을 안정화하고 효율성을 향상시키는 CISPO라는 새로운 RL 알고리즘이 활용되었습니다.
• 512개 H800 GPU에서 전체 RL 훈련은 임대 비용 $534,700으로 3주 만에 완료되었습니다.
• 40K와 80K의 사고 예산을 갖춘 두 가지 버전이 출시되었으며, 복잡한 작업에서 DeepSeek-R1 및 Qwen3-235B에 비해 비교 가능한 또는 우수한 성능을 보여줍니다.

테스트 타임 컴퓨팅의 효율적인 확장은 긴 입력과 광범위한 추론이 필요한 복잡한 작업에 MiniMax-M1을 특히 적합하게 만듭니다.