Makalah ini mengusulkan penggunaan adaptasi domain pada model Sentence Transformer untuk mengotomatisasi proses manual pemetaan kontrol keamanan cloud ke metrik teknis.
- Penulis membangun korpus pelatihan dari 3.499 pasangan semantik dari lima standar keamanan Eropa dan memperluasnya menjadi 13.996 sampel menggunakan back-translation dan parafrase berbasis LLM di empat skenario.
- Lima arsitektur dilakukan fine-tuning dan dievaluasi pada tugas asosiasi kontrol ke metrik dan kontrol lintas standar.
- Pada tugas kontrol ke metrik, model terbaik meningkatkan nDCG@10 hingga 23 poin dibandingkan dengan baseline zero-shot.
- Untuk tugas kontrol lintas standar, model multi-qa-mpnet-dot-v1 di bawah back-translation mencapai nDCG@10 sebesar 0.870.
Hasil menunjukkan bahwa data pelatihan in-domain adalah penggerak utama kinerja untuk tugas-tugas otomatisasi ini.