Para peneliti mengusulkan sistem pemantauan waktu nyata untuk model bahasa besar yang menggunakan sinyal verifier dari model eksternal untuk mendeteksi output yang tidak aman saat deployment. Sistem ini memicu alarm dengan melakukan thresholding pada sinyal ini, dengan threshold yang dikalibrasi melalui kontrol risiko.
- Pendekatan ini mengandalkan desain sederhana berupa thresholding sinyal verifier dari model eksternal.
- Eksperimen dilakukan pada dataset penalaran matematika dan red teaming.
- Metode ini terbukti kompetitif dibandingkan monitor yang lebih canggih berdasarkan pengujian hipotesis berurutan.