يقدم المؤلفون Style Text Embedding Benchmark (STEB)، وهو معيار مفتوح المصدر شامل مصمم لتوحيد تقييم تضمينات النمط، التي كانت تُقيَّم سابقًا باستخدام طرق مجزأة وغير متسقة.
- يشمل STEB 96 مجموعة بيانات عبر 7 لغات.
- يغطي المعيار تطبيقات مثل التحقق من المؤلف، واسترجاع المؤلف، وكشف النص المُولّد بالذكاء الاصطناعي، وفحص الخصائص اللغوية.
- تُظهر نتائج التقييم أن التضمينات الدلالية تفشل بشكل متسق في المهام الأسلوبية.
- لا يوجد تضمين نمط واحد يتفوق عالميًا عبر جميع المهام المُقيَّمة.
يهدف STEB إلى توفير إطار عمل موحد لتقييم تضمينات النمط، ومعالجة نقص مقاييس التقييم الموحدة في هذا المجال.