Пользователь сообщает, что MiMo v2.5 — это высокоэффективная локальная модель, превосходящая ожидания для моделей между 30b и 400b параметров и обгоняющая быстрые облачные провайдеры по скорости.
- Квантование Bartowski IQ4_NL обеспечило лучший баланс качества и скорости на конфигурации с VRAM 192GB 4090.
- UD-Q4_K_S соответствовал IQ4_NL по качеству, но был примерно на 1000pp/10tg медленнее.
- Модель демонстрирует проблемы с зацикливанием, которые были смягчены с помощью специфических настроек температуры и штрафов.
- Модель включает возможности ASR, хотя поддержка в llama.cpp пока недоступна.
Автор считает целесообразным построить выделенный сервер для запуска MiMo v2.5 из-за его превосходной производительности по сравнению с другими локальными вариантами.