Un développeur partage ses premières impressions sur l'utilisation d'une version quantisée en 3 bits du modèle Mistral Medium 3.5 pour des tâches de codage. L'utilisateur signale que le modèle a identifié des problèmes dans son projet que son modèle quotidien précédent avait manqués, décrivant ses performances comme "vraiment bonnes" bien qu'elles soient plus lentes que les modèles Mixture-of-Experts (MoE).

  • Quantisation : Unsloth Q3_KS avec cache KV quantisé en q8_0 et valeurs en q5_0.
  • Performance : 8 tokens par seconde atteints avec une fenêtre de contexte de 80k.
  • Capacité : A trouvé avec succès des erreurs dans le code que le modèle précédent de l'utilisateur avait négligées.

Le post sert d'enquête communautaire, demandant aux autres développeurs leurs expériences et réflexions sur l'utilisation de cette configuration de modèle dense spécifique pour le développement logiciel.