研究人员提出了一种用于大型语言模型的实时监控系统，该系统使用外部模型的验证器信号在无法保证安全性时触发警报。系统通过对验证器输出进行阈值处理来确定警报决策，并通过风险控制方法校准阈值。

  • 该方法依赖于对外部模型信号的简单阈值处理，而不是复杂的顺序假设检验。
  • 在数学推理和red teaming数据集上进行了实验以评估性能。
  • 结果表明，该设计与基于顺序假设检验的更高级监控器具有竞争力。