أجرى مستخدم في رديت الجولة الثانية من "Döner Bench" لمقارنة كيفية تأثير مستويات التكميم المختلفة على قدرات توليد الرموز لنماذج Qwen 3.6 وGemma 4.
- تضمن الاختبار إنشاء ملف HTML يحتوي على رسوم متحركة للكانفاس لسيخ كباب دوار باستخدام مطالبات متطابقة لكل نموذج فرعي.
- تم جمع النتائج عن طريق تشغيل كل مزيج من النموذج والتكميم تسع مرات، واختيار أفضل نتيجة ذاتية مع تجاهل الحلقات أو تجاوز الوقت.
- أنتج Qwen 3.6 27B IQ2 M بعضًا من أفضل النتائج على الرغم من الدقة المنخفضة، بينما أظهر Gemma 4 31B استقرارًا حتى عند التكميم IQ2 المنخفض.
- حافظت معدلات البت الأعلى مثل Q8 K XL بشكل عام على المزيد من "النعومة" في الرسوم المتحركة، بينما تسببت البتات الأقل مثل IQ2 في حدوث عيوب بصرية أو عدم استقرار.
تسلط المقارنة الضوء على كيفية تأثير التكميم على جودة الرموز المولدة والتشغيل للنماذج اللغوية المحلية (LLMs).