Este artigo propõe o uso da adaptação ao domínio de modelos Sentence Transformer para automatizar o processo manual de mapeamento de controles de segurança em nuvem para métricas técnicas.

  • Os autores construíram um corpus de treinamento com 3.499 pares semânticos de cinco padrões europeus de segurança e o expandiram para 13.996 amostras usando back-translation e paráfrase baseada em LLM em quatro cenários.
  • Cinco arquiteturas foram fine-tuned e avaliadas nas tarefas de associação de controle para métrica e controles cruzados entre padrões.
  • Na tarefa de controle para métrica, o melhor modelo melhorou o nDCG@10 em até 23 pontos em comparação com as linhas de base zero-shot.
  • Para a tarefa de controle cruzado entre padrões, o modelo multi-qa-mpnet-dot-v1 sob back-translation alcançou um nDCG@10 de 0.870.

Os resultados indicam que os dados de treinamento in-domain são um principal impulsionador do desempenho para essas tarefas de automação.