本論文は、Sentence Transformerモデルのドメイン適応を用いて、クラウドセキュリティコントロールを技術指標にマッピングする手動プロセスを自動化することを提案している。

  • 著者らは5つの欧州セキュリティ基準から3,499件の意味的ペアのトレーニングコーパスを構築し、バック翻訳とLLMベースのパラフレーズを使用して4つのシナリオで13,996件のサンプルに拡張した。
  • 5つのアーキテクチャがファインチューニングされ、コントロールから指標への関連付けおよびクロススタンダードコントロールの関連付けタスクで評価された。
  • コントロールから指標へのタスクでは、最良のモデルはゼロショットベースラインと比較してnDCG@10を最大23ポイント向上させた。
  • クロススタンダードコントロールタスクでは、バック翻訳下でのmulti-qa-mpnet-dot-v1モデルがnDCG@10 0.870を達成した。

結果は、インドメインのトレーニングデータがこれらの自動化タスクのパフォーマンスの主要な駆動要因であることを示している。