أجرى مستخدم على رديت اختبارات منهجية تقارن نماذج FP16 بمستويات مختلفة من التكميم GGUF، مع تفصيل الأداء حسب القدرة بدلاً من استخدام درجات مجمعة. شمل التحليل الرياضيات (GSM8K)، والبرمجة (HumanEval)، والاستدلال (ARC-Challenge)، واسترجاع المعرفة (MMLU-Pro).
- على نموذج بحجم 27B، تسبب Q4_K_M في تدهر يقل عن 2% في المهام الحوارية لكنه خفض دقة الرياضيات متعددة الخطوات بنحو 9%.
- ألغى Q5_K_M فعلياً فجوة الأداء الرياضي مقارنة بـ FP16.
- يسلط المؤلف الضوء على نقص البيانات الدقيقة حول تدهور السياق، متسائلاً عما إذا كانت النماذج المكممة تفقد دقة الاسترجاع أسرع من FP16 مع امتلاء نوافذ السياق.
يجادل المنشور بأنه بينما توجد بيانات مجتمعية حول اختيار النموذج، هناك فجوة كبيرة في الإرشادات لاختيار مستوى التكميم المناسب لحالات الاستخدام المحددة وقيود العتاد.