Исследование сравнивает подходы к многоклассовой и мультилейбловой классификации текстов для присвоения категорий Common Weakness Enumeration (CWE) записям Common Vulnerabilities and Exposures (CVE). Исследование оценивает три трансформерных энкодера — BERT Base, SecureBERT и CySecBERT — в пространствах вложенных меток из 83, 47 и 25 классов.

  • Многоклассовое обучение достигает более высокого макро-F1 во всех настройках, хотя разрыв с мультилейбловым подходом сокращается по мере уменьшения пространства меток.
  • Анализ матрицы ошибок показывает, что паттерны неправильной классификации следуют иерархии CWE, что предполагает, что дизайн таксономии влияет на ошибки больше, чем выбор энкодера.
  • Оценка с релаксацией иерархии повышает макро-F1 примерно с 81% до 90%, указывая на то, что строгие метрики занижают качество классификатора.
  • CySecBERT демонстрирует наилучшие результаты в целом, со статистически значимыми улучшениями, сосредоточенными в мультилейбловом режиме.

Выводы предполагают, что, хотя многоклассовые формулировки обычно работают лучше, CySecBERT предлагает превосходную производительность для сложных задач отображения.