Para peneliti mengusulkan sistem pemantauan waktu nyata untuk model bahasa besar yang menggunakan sinyal verifier dari model eksternal untuk memicu alarm ketika keamanan tidak dapat dijamin. Sistem menentukan keputusan alarm dengan melakukan thresholding pada output verifier, dengan threshold yang dikalibrasi melalui metode kontrol risiko.
- Pendekatan ini mengandalkan thresholding sederhana dari sinyal model eksternal daripada pengujian hipotesis berurutan yang kompleks.
- Eksperimen dilakukan pada dataset penalaran matematis dan red teaming untuk mengevaluasi kinerja.
- Desainnya terbukti kompetitif dibandingkan dengan monitor yang lebih canggih berdasarkan pengujian hipotesis berurutan.