CySecBERT supera BERT e SecureBERT no mapeamento de CVE para CWE

Um estudo compara abordagens de classificação de texto multiclasse e multilabel para atribuir categorias de Common Weakness Enumeration (CWE) a registros de Common Vulnerabilities and Exposures (CVE). A pesquisa avalia três codificadores transformadores — BERT Base, SecureBERT e CySecBERT — em espaços de rótulos aninhados de 83, 47 e 25 classes.

• O treinamento multiclasse alcança um macro-F1 mais alto em todas as configurações, embora a lacuna em relação ao multilabel diminua à medida que o espaço de rótulos encolhe.
• A análise de confusão revela que os padrões de classificação incorreta seguem a hierarquia CWE, sugerindo que o design da taxonomia impulsiona os erros mais do que a escolha do codificador.
• Uma avaliação com relaxamento de hierarquia eleva o macro-F1 de aproximadamente 81% para 90%, indicando que métricas estritas subestimam a qualidade do classificador.
• CySecBERT alcança os resultados mais fortes no geral, com ganhos estatisticamente significativos concentrados no cenário multilabel.

As descobertas sugerem que, embora formulações multiclasse geralmente tenham um desempenho melhor, o CySecBERT oferece desempenho superior para tarefas de mapeamento complexas.