Исследователи предлагают систему мониторинга в реальном времени для больших языковых моделей, которая использует сигнал верификатора внешней модели для обнаружения небезопасных выходов во время развертывания. Система подает сигнал тревоги путем пороговой обработки этого сигнала, при этом порог калибруется через контроль риска.

  • Подход опирается на простой дизайн пороговой обработки сигнала верификатора от внешней модели.
  • Эксперименты проводились на наборах данных математического рассуждения и красного тестирования (red teaming).
  • Метод демонстрирует конкурентоспособность по сравнению с более продвинутыми мониторами, основанными на последовательном проверке гипотез.