Una investigación en cinco modelos ajustados por instrucciones de tres familias (de 2B a 14B) identifica dos ejes distintos para la abstención de LLM: la corrección de la respuesta y la capacidad de respuesta a la pregunta. El estudio encuentra que la confianza ordinaria en la respuesta rastrea si una respuesta es correcta pero permanece casi ciega ante si una pregunta es respondible, mientras que un sondeo lineal en estados ocultos detecta la no respondibilidad.
- En preguntas con premisas falsas (CREPE), las métricas estándar se mantienen cerca del azar, mientras que el sondeo de estados ocultos alcanza 0.69 a 0.77 AUROC.
- Instruir a los modelos para verificar premisas tiene un efecto contrario con un 57% de desafíos falsos, pero enrutar instrucciones a través del sondeo triplica la precisión del desafío.
- Una política calibrada que certifica tanto la capacidad de respuesta como la corrección con una cobertura de 0.75 logra una cobertura de respuesta correcta de 0.31, en comparación con el fracaso de un umbral único.
Este enfoque permite que la tasa de respuestas a preguntas no respondibles sea controlable a cada escala, mientras limita la tasa de respuestas incorrectas por la precisión del modelo.