Les chercheurs proposent un système de surveillance en temps réel pour les grands modèles de langage qui utilise le signal de vérificateur d'un modèle externe pour déclencher des alarmes lorsque la sécurité ne peut pas être garantie. Le système détermine les décisions d'alarme par seuillage de la sortie du vérificateur, le seuil étant calibré via des méthodes de contrôle des risques.
- L'approche repose sur un seuillage simple des signaux provenant d'un modèle externe plutôt que sur des tests d'hypothèses séquentiels complexes.
- Des expériences ont été menées sur des ensembles de données de raisonnement mathématique et de red teaming pour évaluer les performances.
- La conception s'avère compétitive par rapport à des moniteurs plus avancés basés sur des tests d'hypothèses séquentiels.