Une étude compare les approches de classification de texte multi-classe et multi-label pour l'attribution des catégories Common Weakness Enumeration (CWE) aux enregistrements Common Vulnerabilities and Exposures (CVE). La recherche évalue trois encodeurs transformateurs — BERT Base, SecureBERT et CySecBERT — sur des espaces d'étiquettes imbriqués de 83, 47 et 25 classes.
- L'entraînement multi-classe atteint un macro-F1 plus élevé dans tous les paramètres, bien que l'écart par rapport au multi-label se réduise à mesure que l'espace d'étiquettes diminue.
- L'analyse des confusions révèle que les schémas de mauvaise classification suivent la hiérarchie CWE, suggérant que la conception de la taxonomie entraîne davantage d'erreurs que le choix de l'encodeur.
- Une évaluation avec hiérarchie assouplie augmente le macro-F1 d'environ 81 % à 90 %, indiquant que les métriques strictes sous-estiment la qualité du classifieur.
- CySecBERT obtient les meilleurs résultats globaux, avec des gains statistiquement significatifs concentrés dans le cadre multi-label.
Ces résultats suggèrent que bien que les formulations multi-classe offrent généralement de meilleures performances, CySecBERT offre une performance supérieure pour les tâches de cartographie complexes.