Los investigadores proponen un sistema de monitoreo en tiempo real para modelos de lenguaje grandes que utiliza la señal de verificador de un modelo externo para activar alarmas cuando no se puede garantizar la seguridad. El sistema determina las decisiones de alarma mediante el umbralizado de la salida del verificador, con el umbral calibrado a través de métodos de control de riesgo.
- El enfoque se basa en el umbralizado simple de señales de un modelo externo en lugar de pruebas de hipótesis secuenciales complejas.
- Se realizaron experimentos en conjuntos de datos de razonamiento matemático y red teaming para evaluar el rendimiento.
- Se muestra que el diseño es competitivo con monitores más avanzados basados en pruebas de hipótesis secuenciales.