Un usuario informa que MiMo v2.5 es un modelo local altamente efectivo, superando las expectativas para modelos entre 30b y 400b parámetros y superando a los proveedores de nube rápidos en velocidad.

  • La cuantización Bartowski IQ4_NL proporcionó el mejor equilibrio entre calidad y velocidad en una configuración de VRAM 192GB 4090.
  • UD-Q4_K_S igualó a IQ4_NL en calidad pero fue aproximadamente 1000pp/10tg más lento.
  • El modelo presenta problemas de bucle, que se mitigaron utilizando configuraciones específicas de temperatura y penalización.
  • El modelo incluye capacidades ASR, aunque el soporte en llama.cpp aún no está disponible.

El autor considera que vale la pena construir un servidor dedicado para ejecutar MiMo v2.5 debido a su rendimiento superior en comparación con otras opciones locales.