लेखकों ने स्टाइल टेक्स्ट एम्बेडिंग बेंचमार्क (STEB) पेश किया है, जो एक व्यापक ओपन-सोर्स बेंचमार्क है जिसका डिज़ाइन शैली एम्बेडिंग के मूल्यांकन को मानकीकृत करने के लिए किया गया है, जिन्हें पहले विखंडित और असंगत तरीकों से आकलन किया जाता था।
- STEB में 7 भाषाओं में 96 डेटासेट शामिल हैं।
- बेंचमार्क लेखकता सत्यापन, लेखकता पुनर्प्राप्ति, AI-टेक्स्ट पता लगाने और भाषिक विशेषताओं की जांच जैसे अनुप्रयोगों को कवर करता है।
- मूल्यांकन परिणाम दिखाते हैं कि अर्थव्यापी एम्बेडिंग शैलीगत कार्यों में लगातार विफल रहते हैं।
- किसी भी एकल शैली एम्बेडिंग का सभी मूल्यांकित कार्यों में सार्वभौमिक रूप से श्रेष्ठ होना नहीं है।
STEB शैली एम्बेडिंग के आकलन के लिए एक एकीकृत फ्रेमवर्क प्रदान करने का लक्ष्य रखता है, जिससे क्षेत्र में मानकीकृत मूल्यांकन मापदंडों की कमी को दूर किया जा सके।