أصدر NotKshitiz أداة LitmusLab، وهي أداة سطر أوامر مصممة لأتمتة مقارنة تنسيقات تكميم متعددة للنماذج اللغوية الكبيرة. تتناول الأداة التحدي الشائع المتمثل في الاختبار اليدوي لخيارات التكميم المختلفة من خلال توفير إطار تقييم جنبًا إلى جنب.
- يدعم تنسيقات FP16 و INT8 و NF4 و FP4 و HQQ و Quanto INT8/INT4 و AWQ و GPTQ و FP8.
- يتكامل مع backends HuggingFace Transformers و vLLM.
- يتضمن ميزانية VRAM تكيفية لمنع أخطاء نفاد الذاكرة على وحدات GPU الأصغر حجمًا.
- يتميز بمعالجة الفشل لكل وضع بحيث لا يؤدي تكوين واحد معطل إلى إيقاف التشغيل بأكمله.
- يوفر توصية نشر مولدة بالذكاء الاصطناعي كخيار عبر Groq أو وضع حتمي غير متصل بالكامل.
تهدف الأداة إلى تبسيط اختيار تنسيقات التكميم من خلال أتمتة عملية المعايير لمقايضات VRAM الأجهزة والسرعة والجودة.