Common Vulnerabilities and Exposures (CVE) レコードに Common Weakness Enumeration (CWE) カテゴリーを割り当てるためのマルチクラスおよびマルチラベルのテキスト分類アプローチを比較する研究が行われた。この研究では、83、47、25クラスのネストされたラベル空間において、BERT Base、SecureBERT、CySecBERTという3つのトランスフォーマーエンコーダーが評価された。

  • マルチクラス学習はすべての設定でより高いマクロF1を達成するが、ラベル空間が縮小するとマルチラベルとの差は狭まる。
  • 混同行列分析により、誤分類パターンがCWE階層に従うことが明らかになり、エンコーダーの選択よりも分類体系の設計がエラーを引き起こす要因となっていることが示唆された。
  • 階層を緩和した評価ではマクロF1が約81%から90%に上昇し、厳格な指標が分類器の品質を過小評価していることを示している。
  • CySecBERTは全体として最も強力な結果を達成し、統計的に有意な向上はマルチラベル設定に集中している。

これらの知見は、マルチクラス形式が一般的により良いパフォーマンスを発揮する一方で、CySecBERTは複雑なマッピングタスクにおいて優れたパフォーマンスを提供することを示唆している。