CySecBERT supera a BERT y SecureBERT en el mapeo de CVE a CWE

Un estudio compara enfoques de clasificación de texto multiclase y multietiqueta para asignar categorías de Common Weakness Enumeration (CWE) a registros de Common Vulnerabilities and Exposures (CVE). La investigación evalúa tres codificadores transformadores: BERT Base, SecureBERT y CySecBERT, en espacios de etiquetas anidados de 83, 47 y 25 clases.

• El entrenamiento multiclase logra un macro-F1 más alto en todas las configuraciones, aunque la brecha con el enfoque multietiqueta se reduce a medida que el espacio de etiquetas disminuye.
• El análisis de confusión revela que los patrones de clasificación errónea siguen la jerarquía CWE, lo que sugiere que el diseño de la taxonomía impulsa los errores más que la elección del codificador.
• Una evaluación con relajación jerárquica eleva el macro-F1 de aproximadamente 81% a 90%, indicando que las métricas estrictas subestiman la calidad del clasificador.
• CySecBERT logra los resultados más sólidos en general, con ganancias estadísticamente significativas concentradas en el entorno multietiqueta.

Los hallazgos sugieren que, aunque las formulaciones multiclase generalmente tienen un mejor rendimiento, CySecBERT ofrece un rendimiento superior para tareas de mapeo complejas.