用户报告称，MiMo v2.5 是一个高效的本地模型，在 30b 到 400b 参数规模的模型中超出预期，并在速度上超越了快速的云服务提供商。

  • Bartowski IQ4_NL 量化在 192GB 4090 VRAM 配置下提供了最佳的画质与速度平衡。
  • UD-Q4_K_S 在质量上与 IQ4_NL 持平，但速度慢了约 1000pp/10tg。
  • 该模型存在循环问题，通过使用特定的温度和惩罚设置得到了缓解。
  • 该模型包含 ASR 功能，尽管 llama.cpp 中尚未提供支持。

作者认为，鉴于其性能优于其他本地选项，构建专用服务器来运行 MiMo v2.5 是值得的。