Исследователи предлагают систему мониторинга в реальном времени для больших языковых моделей, которая использует сигнал верификатора внешней модели для вызова тревоги, когда безопасность не может быть гарантирована. Система принимает решения о тревоге путем пороговой обработки вывода верификатора, при этом порог калибруется с помощью методов контроля риска.

  • Подход опирается на простую пороговую обработку сигналов от внешней модели, а не на сложный последовательный анализ гипотез.
  • Эксперименты проводились на наборах данных математического рассуждения и red teaming для оценки производительности.
  • Показано, что дизайн конкурентоспособен по сравнению с более продвинутыми мониторами, основанными на последовательном анализе гипотез.