あるユーザーは、MiMo v2.5が非常に効果的なローカルモデルであり、30億から400億パラメータのモデル間の期待を上回り、高速なクラウドプロバイダーよりも速度で上回っていると報告しています。

  • Bartowski IQ4_NL量子化は、192GB 4090 VRAM環境において品質と速度の最適なバランスを提供しました。
  • UD-Q4_K_SはIQ4_NLと同様の品質を示しましたが、約1000pp/10tg低速でした。
  • このモデルにはループ問題が見られますが、特定の温度とペナルティ設定を用いて緩和されました。
  • このモデルはASR機能を含んでいますが、llama.cppでのサポートはまだ利用できません。

著者は、他のローカルオプションと比較して優れたパフォーマンスを持つため、MiMo v2.5を実行するために専用サーバーを構築する価値があると考えています。