أطلقت ScottRBK أداة eval-harness المصممة لتوليد تقييمات شخصية لكل من النماذج اللغوية الكبيرة (LLMs) وأطر تشغيل واجهة سطر الأوامر (CLI) الوكيلية التي تعمل ضمنها. يعالج المشروع الحاجة إلى تقييم أداء النموذج في سياقات الاستخدام الفعلية بدلاً من الاعتماد على المقاييس العامة أو الحدس.
- يتيح المستودع للمستخدمين بناء قوائم تقييمات خاصة يتم الاحتفاظ بها بعيداً عن مجموعات البيانات العامة.
- يتضمن تقييمات مثال لتوضيح أنماط مختلفة لتقييم النماذج وأطر التشغيل.
- تم توفير مجموعة من المهارات لمساعدة وكلاء CLI على توليد هذه التقييمات، على الرغم من أن المؤلف يشير إلى أنها قد تكون هشة.
- تهدف الأداة إلى مساعدة المستخدمين علىقرر متى يجب التبديل بين النماذج المحلية مثل qwen3.6-27b والنماذج السحابية بناءً على بيانات تجريبية.
يساعد الإطار المستخدمين على اتخاذ قرارات مستنيرة بشأن اختيار النماذج لعمليات سير العمل المهنية من خلال توفير طريقة منظمة لاختبار القدرات في بيئات وكيلية محددة.