Common Vulnerabilities and Exposures (CVE) 기록에 Common Weakness Enumeration (CWE) 카테고리를 할당하기 위한 다중 클래스 및 다중 레이블 텍스트 분류 접근 방식을 비교하는 연구가 수행되었습니다. 이 연구는 83, 47, 25개의 클래스로 구성된 중첩 레이블 공간에서 BERT Base, SecureBERT, CySecBERT라는 세 가지 트랜스포머 인코더를 평가했습니다.

  • 다중 클래스 학습은 모든 설정에서 더 높은 매크로-F1을 달성하지만, 레이블 공간이 축소됨에 따라 다중 레이블과의 격차는 좁아집니다.
  • 혼동 분석 결과, 오분류 패턴이 CWE 계층 구조를 따르는 것으로 드러났으며, 이는 인코더 선택보다 분류 체계 설계가 오류를 더 많이 유발함을 시사합니다.
  • 계층을 완화한 평가는 매크로-F1을 약 81%에서 90%로 높였으며, 엄격한 지표가 분류기 품질을 과소평가하고 있음을 나타냅니다.
  • CySecBERT는 전반적으로 가장 강력한 결과를 달성했으며, 통계적으로 유의미한 향상은 다중 레이블 설정에 집중되어 있습니다.

이러한 발견은 다중 클래스 형식이 일반적으로 더 나은 성능을 발휘하는 반면, CySecBERT는 복잡한 매핑 작업에서 우수한 성능을 제공함을 시사합니다.