يقدم الباحثون SPEARBench، وهو مقياس مصمم لتقييم طبيعة نماذج اللغة من الكلام إلى الكلام في البث المباشر أثناء تفاعلات السؤال والجواب.
- يبني المقياس محفزات حوار خاضعة للتحكم من مجموعة بيانات Seamless Interaction ويشغل الاستدلال عبر نماذج متعددة.
- يستخدم بروتوكول تقييم متعدد الأبعاد يغطي زمن استجابة، مقاطعات، جودة الكلام، متانة ASR، اتساق اللغة واللهجة، طبيعية العاطفة، الموقف بين الأشخاص، وأساسيات توزيعية قابلة للشرح.
- تعمل الإجابات البشرية الأصلية كشرط مرج للمقارنة.
تشير النتائج إلى أنه بينما تحقق النماذج الحالية جودة عالية على مستوى الإشارة وخطأ ASR منخفض، إلا أنها لا تزال تختلف عن السلوك البشري في المحادثة من حيث زمن الاستجابة، التداخل، الحفاظ على اللهجة، التكيف العاطفي، وديناميكيات الموقف بين الأشخاص.