Los investigadores proponen un sistema de monitoreo en tiempo real para modelos de lenguaje grandes que utiliza la señal de verificador de un modelo externo para detectar salidas inseguras en el momento del despliegue. El sistema activa una alarma mediante umbralización de esta señal, con el umbral calibrado a través del control de riesgo.
- El enfoque se basa en un diseño simple de umbralización de la señal de verificador de un modelo externo.
- Se realizaron experimentos en conjuntos de datos de razonamiento matemático y red teaming.
- El método se muestra competitivo en comparación con monitores más avanzados basados en pruebas de hipótesis secuenciales.