Пользователь Reddit провел второй раунд "Döner Bench", чтобы сравнить, как разные уровни квантования влияют на возможности генерации кода моделей Qwen 3.6 и Gemma 4.

  • Тест заключался в создании HTML-файла с анимацией канвас вращающегося шашлыка с использованием одинаковых промптов для каждой вариации модели.
  • Результаты собирались путем запуска каждой комбинации модели и квантования девять раз, выбора наилучшего субъективного результата при отбрасывании бесконечных циклов или таймаутов.
  • Qwen 3.6 27B IQ2 M показала одни из лучших результатов, несмотря на меньшую точность, в то время как Gemma 4 31B продемонстрировала стабильность даже при низком квантовании IQ2.
  • Более высокие битрейты, такие как Q8 K XL, обычно сохраняли больше "тонкости" в анимации, тогда как низкие биты, такие как IQ2, вызывали визуальные артефакты или нестабильность.

Сравнение подчеркивает, как квантование влияет на качество сгенерированного кода и рендеринга для локальных LLM.