Un desarrollador comparte sus primeras impresiones sobre el uso de una versión cuantizada en 3 bits del modelo Mistral Medium 3.5 para tareas de codificación. El usuario informa que el modelo identificó problemas en su proyecto que su controlador diario anterior pasó por alto, describiendo su rendimiento como "realmente bueno" a pesar de ser más lento que los modelos Mixture-of-Experts (MoE).
- Cuantización: Unsloth Q3_KS con caché KV cuantizado a q8_0 y valores a q5_0.
- Rendimiento: Alcanzó 8 tokens por segundo con una ventana de contexto de 80k.
- Capacidad: Encontró con éxito errores en el código que el modelo anterior del usuario había pasado por alto.
La publicación sirve como una consulta comunitaria, pidiendo a otros desarrolladores sus experiencias y opiniones sobre el uso de esta configuración específica de modelo denso para el desarrollo de software.