एक अध्ययन Common Weakness Enumeration (CWE) श्रेणियों को Common Vulnerabilities and Exposures (CVE) रिकॉर्डों में सौंपने के लिए बहु-वर्ग और बहु-लेबल पाठ वर्गीकरण दृष्टिकोणों की तुलना करता है। शोध 83, 47 और 25 वर्गों के नेस्टेड लेबल स्पेस में तीन ट्रांसफॉर्मर एनकोडर्स — BERT Base, SecureBERT, और CySecBERT — का मूल्यांकन करता है।
- सभी सेटिंग्स में बहु-वर्ग प्रशिक्षण उच्च मैक्रो-F1 प्राप्त करता है, हालांकि लेबल स्पेस संकुचित होने के साथ बहु-लेबल के बीच अंतर कम हो जाता है।
- भ्रमित करने वाले विश्लेषण से पता चलता है कि गलत वर्गीकरण पैटर्न CWE हियरार्की का पालन करते हैं, जो सुझाव देते हैं कि टैक्सोनॉमी डिज़ाइन एनकोडर चयन की तुलना में त्रुटियों को अधिक प्रेरित करता है।
- एक हियरार्की-रिलैक्स्ड मूल्यांकन मैक्रो-F1 को लगभग 81% से 90% तक बढ़ाता है, जो संकेत देता है कि कठोर मेट्रिक्स वर्गीकारक की गुणवत्ता को कम आंकते हैं।
- CySecBERT ने समग्र रूप से सबसे मजबूत परिणाम प्राप्त किए, जिसमें सांख्यिकीय रूप से महत्वपूर्ण लाभ बहु-लेबल सेटिंग में केंद्रित थे।
निष्कर्ष सुझाव देते हैं कि हालांकि बहु-वर्ग सूत्रीकरण आमतौर पर बेहतर प्रदर्शन करते हैं, CySecBERT जटिल मैपिंग कार्यों के लिए श्रेष्ठ प्रदर्शन प्रदान करता है।