تقوم دراسة بمراجعة الاختصارات على مستوى البروتوكول في النماذج اللغوية الصوتية الكبيرة (LALMs) المستخدمة كحكم تلقائي لتقييم الكلام، وكشفت أن الاتفاق العالي مع التقييمات البشرية لا يضمن أن الأحكام مبنية على الصوت الفعلي. تفحص البحث ثلاثة بروتوكولات نشر: حكم المخطط المميز، وحكم المشروط بالإشارة المرجعية، ومقارنة A/B الزوجية عبر ستة قضاة وأربعة سمات.
- في حكم المخطط المميز، أدت التسميات الخبيرة غير الصحيحة إلى تقليل دقة العاطفة إلى 0.10 أو أقل لخمس من القضاة.
- في مقارنات A/M المتصلة، اختار Qwen3-Omni-Thinking بشكل متكرر نفس الفتحة بغض النظر عن تبديلات الترتيب.
- تشير النتائج إلى أن الاتفاق الإجمالي يمكن أن يبالغ في صحة قضاة LALM ما لم يتم تقييم النموذج وبروتوكول التقييم معًا.
يستنتج المؤلفون أنه يجب تقييم كل زوج نموذج-بروتوكول باستخدام مسبار اختصار مطابق لضمان تقييم كلام موثوق.