Un utilisateur de Reddit a mené un deuxième tour du "Döner Bench" pour comparer comment différents niveaux de quantisation affectent les capacités de génération de code des modèles Qwen 3.6 et Gemma 4.

  • Le test consistait à générer un fichier HTML avec une animation canvas d'une brochette de kebab rotative en utilisant des invites identiques pour chaque variante du modèle.
  • Les résultats ont été collectés en exécutant neuf fois chaque combinaison de modèle et de quantisation, en sélectionnant le meilleur résultat subjectif tout en éliminant les boucles ou les dépassements de temps.
  • Qwen 3.6 27B IQ2 M a produit certains des meilleurs résultats malgré une fidélité inférieure, tandis que Gemma 4 31B a montré une stabilité même à une quantisation IQ2 faible.
  • Les débits binaires plus élevés comme Q8 K XL ont généralement préservé plus de "finesse" dans l'animation, tandis que les bits inférieurs comme IQ2 ont causé des artéfacts visuels ou une instabilité.

La comparaison met en évidence comment la quantisation impacte la qualité du code généré et du rendu pour les LLM locaux.