研究者らは、デプロイメント時に不安全な出力を検出するために外部モデルの検証者信号を使用する大規模言語モデル向けのリアルタイム監視システムを提案している。このシステムは、リスク制御を通じて閾値が較正されたこの信号を閾値処理することによりアラームを発する。

  • このアプローチは、外部モデルからの検証者信号の閾値処理という単純な設計に依存している。
  • 数学的推論とレッドチームニングデータセットで実験が行われた。
  • この手法は、逐次仮説検出に基づくより高度なモニターと比較して競争力があることが示されている。