La investigación en cinco modelos ajustados por instrucciones de tres familias (de 2B a 14B) demuestra que el rechazo del modelo implica dos ejes distintos: la corrección de la respuesta y la capacidad de responder a la pregunta. El estudio encuentra que las puntuaciones de confianza estándar rastrean la corrección pero son casi ciegas a si una pregunta es realmente respondible, particularmente en preguntas con premisas falsas.
- Una sonda lineal en estados ocultos puede detectar preguntas no respondibles con 0.69 a 0.77 AUROC, mientras que las métricas estándar como P(IK) y P(True) permanecen cerca del azar.
- Instruir a los modelos para verificar premisas tiene el efecto contrario, haciendo que disputen premisas válidas (57% de impugnaciones falsas), mientras que enrutamiento de instrucciones a través de la sonda triplica la precisión de las impugnaciones.
- Una política calibrada que usa puntuaciones separadas de capacidad de respuesta y corrección certifica 0.75 cobertura de respuestas correctas en umbral 0.75, comparado con solo 0.31 para un umbral único.
Este enfoque permite que la tasa de no-respuesta sea controlable a cada escala mientras limita la tasa de respuestas incorrectas por precisión del modelo, proporcionando una garantía más estricta que los métodos de umbral único.