قدمت Muse-Ltd مقياس UncertaintyGym إلى Hugging Face Evaluation Hub، وهو مقياس جديد مصمم لتقييم المعايرة ما وراء المعرفية لنماذج اللغات الكبيرة وقدرتها على التعبير عن عدم اليقين بدلاً من الهلوسة.
يصنف المقياس الاستفسارات إلى أربعة أنواع مميزة: أسئلة واقعية قابلة للحل، استفسارات غير محددة بشكل كافٍ تتطلب إزالة الغموض، أسئلة ذات مقدمات خاطئة تحتاج إلى رفض، ومواضيع غير قابلة للمعرفة بطبيعتها. يستخدم درجة المعايرة ما وراء المعرفية (MCS) ومعدل هلوسة الأسئلة غير القابلة للإجابة كمقاييس رئيسية، حيث أظهرت الخطوط الأساسية الأولية أن نموذج LiquidAI's LFM2.5-2.6B حقق MCS بنسبة 45.0%.
يهدف هذا التقديم إلى توفير طريقة موحدة لتقييم مدى تعامل النماذج بشكل جيد مع السياق المفقود أو المقدمات المستحيلة من خلال الإعلان صراحةً عن عدم القابلية للمعرفة.