Un utilisateur rapporte que MiMo v2.5 est un modèle local très efficace, dépassant les attentes pour les modèles entre 30 milliards et 400 milliards de paramètres et surpassant les fournisseurs cloud rapides en vitesse.

  • La quantisation IQ4_NL de Bartowski a fourni le meilleur équilibre entre qualité et vitesse sur une configuration VRAM 192GB 4090.
  • UD-Q4_K_S a égalé la qualité d'IQ4_NL mais était environ 1000pp/10tg plus lent.
  • Le modèle présente des problèmes de bouclage, atténués à l'aide de paramètres spécifiques de température et de pénalité.
  • Le modèle inclut des capacités ASR, bien que le support dans llama.cpp ne soit pas encore disponible.

L'auteur estime qu'il vaut la peine de construire un serveur dédié pour exécuter MiMo v2.5 en raison de ses performances supérieures par rapport aux autres options locales.