शोधकर्ताओं ने SPEARBench का परिचय दिया, जो प्रश्न-उत्तर अंतःक्रियाओं के दौरान स्ट्रीमिंग स्पीच-टू-स्पीच लैंग्वेज मॉडल्स की प्राकृतिकता का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है।
- बेंचमार्क Seamless Interaction कॉर्पस से नियंत्रित संवाद प्रॉम्प्ट्स बनाता है और कई मॉडल्स पर इनफरेंस चलाता है।
- यह प्रतिक्रिया विलंबता, अंतराय, स्पीच गुणवत्ता, ASR रोबस्टनेस, भाषा और बोलियों की सुसंगतता, भावनात्मक प्राकृतिकता, अंतर्व्यक्तिगत स्थिति और व्याख्या योग्य वितरण आधार रेखाओं को कवर करने वाले बहुआयामी मूल्यांकन प्रोटोकॉल का उपयोग करता है।
- तुलना के लिए मौलिक मानव उत्तरों को संदर्भ स्थिति के रूप में उपयोग किया जाता है।
परिणाम संकेत देते हैं कि, हालांकि वर्तमान मॉडल्स उच्च सिग्नल-स्तर गुणवत्ता और कम ASR त्रुटि प्राप्त करते हैं, लेकिन विलंबता, ओवरलैप, बोलियों के संरक्षण, भावनात्मक अनुकूलन और अंतर्व्यक्तिगत स्थिति गतिशीलता में वे मानव संवादात्मक व्यवहार से भिन्न हैं।