あるRedditユーザーは「Döner Bench」の第2ラウンドを実施し、異なる量子化レベルがQwen 3.6およびGemma 4モデルのコード生成能力に与える影響を比較した。

  • テストでは、各モデルバリアントに対して同一のプロンプトを用い、回転するケバブ串のキャンバスアニメーションを含むHTMLファイルを生成した。
  • 結果は、各モデルと量子化の組み合わせを9回実行し、ループやタイムアウトを除外して主観的に最も優れた出力を選択することで収集された。
  • Qwen 3.6 27B IQ2 Mは忠実度が低いにもかかわらず、いくつかの最良の結果を生み出した一方、Gemma 4 31Bは低IQ2量子化においても安定性を示した。
  • Q8 K XLのような高ビットレートはアニメーションの「繊細さ」をよりよく保持する一方、IQ2のような低ビットは視覚的アーティファクトや不安定さを引き起こした。

この比較は、量子化がローカルLLMの生成コードおよびレンダリングの品質に与える影響を浮き彫りにしている。