Um usuário relata que o MiMo v2.5 é um modelo local altamente eficaz, superando as expectativas para modelos entre 30b e 400b parâmetros e ultrapassando provedores de nuvem rápidos em velocidade.

  • A quantização Bartowski IQ4_NL forneceu o melhor equilíbrio de qualidade e velocidade em uma configuração de VRAM 192GB 4090.
  • UD-Q4_K_S igualou a IQ4_NL em qualidade, mas foi aproximadamente 1000pp/10tg mais lento.
  • O modelo exibe problemas de looping, que foram mitigados usando configurações específicas de temperatura e penalidade.
  • O modelo inclui capacidades ASR, embora o suporte no llama.cpp ainda não esteja disponível.

O autor considera que vale a pena construir um servidor dedicado para executar o MiMo v2.5 devido ao seu desempenho superior em comparação com outras opções locais.