Sebuah studi membandingkan pendekatan klasifikasi teks multi-kelas dan multi-label untuk menetapkan kategori Common Weakness Enumeration (CWE) ke catatan Common Vulnerabilities and Exposures (CVE). Penelitian ini mengevaluasi tiga encoder transformer—BERT Base, SecureBERT, dan CySecBERT—di ruang label bersarang dari 83, 47, dan 25 kelas.
- Pelatihan multi-kelas mencapai macro-F1 yang lebih tinggi di semua pengaturan, meskipun kesenjangan terhadap multi-label menyempit seiring mengecilnya ruang label.
- Analisis kebingungan mengungkapkan bahwa pola misclassifikasi mengikuti hierarki CWE, menunjukkan bahwa desain taksonomi mendorong kesalahan lebih daripada pilihan encoder.
- Evaluasi dengan relaksasi hierarki meningkatkan macro-F1 dari sekitar 81% menjadi 90%, menunjukkan bahwa metrik ketat meremehkan kualitas klasifikator.
- CySecBERT mencapai hasil terkuat secara keseluruhan, dengan peningkatan yang signifikan secara statistik terkonsentrasi dalam pengaturan multi-label.
Temuan ini menunjukkan bahwa meskipun formulasi multi-kelas umumnya berkinerja lebih baik, CySecBERT menawarkan kinerja superior untuk tugas pemetaan yang kompleks.