한 사용자는 MiMo v2.5가 매우 효과적인 로컬 모델이며, 30억에서 400억 파라미터 사이의 모델에 대한 기대를 초과하고 빠른 클라우드 제공업체보다 속도가 더 빠르다고 보고했습니다.
- Bartowski IQ4_NL 양자화는 192GB 4090 VRAM 환경에서 품질과 속도의 최적 균형을 제공했습니다.
- UD-Q4_K_S는 IQ4_NL과 동일한 품질을 보였지만 약 1000pp/10tg 느렸습니다.
- 이 모델은 루핑 문제를 보여주며, 이는 특정 온도 및 페널티 설정을 사용하여 완화되었습니다.
- 이 모델은 ASR 기능을 포함하고 있지만, llama.cpp에서의 지원은 아직 사용 불가능합니다.
저자는 다른 로컬 옵션과 비교하여 우수한 성능을 가지므로 MiMo v2.5를 실행하기 위해 전용 서버를 구축할 가치가 있다고 생각합니다.