В данной статье предлагается использовать адаптацию Sentence Transformer моделей к домену для автоматизации ручного процесса сопоставления контролей облачной безопасности с техническими метриками.

  • Авторы создали обучающую выборку из 3499 семантических пар на основе пяти европейских стандартов безопасности и расширили её до 13996 образцов, используя обратный перевод и перефразирование на основе LLM в четырёх сценариях.
  • Пять архитектур были дообучены и оценены на задачах ассоциации контролей с метриками и кросс-стандартных контролей.
  • В задаче сопоставления контролей с метриками лучшая модель улучшила показатель nDCG@10 максимум на 23 пункта по сравнению с нулевыми базовыми моделями (zero-shot baselines).
  • Для задачи кросс-стандартного контроля модель multi-qa-mpnet-dot-v1 при использовании обратного перевода достигла nDCG@10 равного 0.870.

Результаты показывают, что данные для обучения в домене являются основным фактором производительности для этих задач автоматизации.