Seorang pengguna melaporkan bahwa MiMo v2.5 adalah model lokal yang sangat efektif, melampaui ekspektasi untuk model antara 30 miliar hingga 400 miliar parameter dan mengungguli penyedia cloud cepat dalam hal kecepatan.
- Kuantisasi IQ4_NL dari Bartowski memberikan keseimbangan terbaik antara kualitas dan kecepatan pada setup VRAM 192GB 4090.
- UD-Q4_K_S memiliki kualitas yang sama dengan IQ4_NL tetapi sekitar 1000pp/10tg lebih lambat.
- Model ini menunjukkan masalah looping, yang dimitigasi menggunakan pengaturan suhu dan penalti tertentu.
- Model ini mencakup kemampuan ASR, meskipun dukungan di llama.cpp belum tersedia.
Penulis menganggap layak membangun server khusus untuk menjalankan MiMo v2.5 karena kinerjanya yang unggul dibandingkan opsi lokal lainnya.