एक अध्ययन ने बोलचाल के मूल्यांकन के लिए स्वचालित जज के रूप में उपयोग किए जाने वाले बड़े ऑडियो-भाषा मॉडलों (LALMs) में प्रोटोकॉल-स्तरीय शॉर्टकट का ऑडिट किया है, यह उजागर करते हुए कि मानव रेटिंग्स के साथ उच्च सहमति इस बात की गारंटी नहीं देती कि निर्णय वास्तविक ऑडियो पर आधारित हैं। शोध छह जजों और चार विशेषताओं के बीच तीन तैनाती प्रोटोकॉल का जांच करता है: फीचर-ब्लूप्रिंट जजिंग, रेफरेंस-कंडीशंड जजिंग और पेयरवाइज़ A/B तुलना।
- फीचर-ब्लूप्रिंट जजिंग में, गलत विशेषज्ञ लेबल्स ने पांच जजों के लिए भावना सटीकता को 0.10 या उससे कम तक कम कर दिया।
- संयुक्त A/B तुलनाओं में, Qwen3-Omni-Thinking अक्सर क्रम बदलाव की परवाह किए बिना एक ही स्लॉट का चयन करता था।
- निष्कर्ष बताते हैं कि मॉडल और मूल्यांकन प्रोटोकॉल को संयुक्त रूप से आकलित किए बिना, संचित सहमति LALM जजों की वैधता को अधिक आंक सकती है।
लेखकों का निष्कर्ष है कि विश्वसनीय बोलचाल के मूल्यांकन सुनिश्चित करने के लिए प्रत्येक मॉडल-प्रोटोकॉल जोड़ी का मेल खाने वाले शॉर्टकट प्रोब के साथ आकलन किया जाना चाहिए।