قارنت دراسة بين نهج تصنيف النصوص متعدد الفئات ومتعدد التسميات لتعيين فئات Common Weakness Enumeration (CWE) إلى سجلات Common Vulnerabilities and Exposures (CVE). تقيم البحث ثلاثة مشفرين محولين—BERT Base، SecureBERT، وCySecBERT—عبر مساحات تسميات متداخلة مكونة من 83 و47 و25 فئة.
- يحقق التدريب متعدد الفئات قيمة macro-F1 أعلى عبر جميع الإعدادات، على الرغم من ضيق الفجوة مع متعدد التسميات كلما صغرت مساحة التسميات.
- يكشف تحليل الالتباس عن أن أنماط التصنيف الخاطئ تتبع التسلسل الهرمي لـCWE، مما يشير إلى أن تصميم التصنيف يدفع الأخطاء أكثر من اختيار المشفر.
- ترفع التقييمات التي تخفف من التسلسل الهرمي قيمة macro-F1 من حوالي 81% إلى 90%， مما يشير إلى أن المقاييس الصارمة تقلل من جودة المصنف.
- يحقق CySecBERT أقوى النتائج بشكل عام، مع تركيز المكاسب ذات الدلالة الإحصائية في إعداد متعدد التسميات.
تشير النتائج إلى أنه بينما تعمل الصيغ متعددة الفئات بشكل أفضل بشكل عام، فإن CySecBERT يوفر أداءً متفوقًا لمهام التعيين المعقدة.