Исследование пяти инструктивно-обученных моделей из трех семейств (от 2B до 14B) выявило две различные оси для отказа LLM от ответа: правильность ответа и возможность ответа на вопрос. Исследование показывает, что обычная уверенность в ответе отслеживает правильность ответа, но остается практически слепой к возможности ответа на вопрос, тогда как линейный зонд на скрытых состояниях обнаруживает невозможность ответа.
- На вопросах с ложными предпосылками (CREPE) стандартные метрики остаются близкими к случайным, в то время как зонд по скрытым состояниям достигает 0.69–0.77 AUROC.
- Инструкция моделям проверять предпосылки приводит к обратному эффекту с 57% ложных вызовов, но маршрутизация инструкций через зонд утраивает точность вызовов.
- Откалиброванная политика, сертифицирующая как возможность ответа, так и правильность, со значением покрытия 0.75, достигает покрытия правильными ответами на уровне 0.31, в отличие от неудачи при использовании одного порога.
Этот подход позволяет контролировать уровень ответов на невозможные вопросы на любом масштабе, одновременно ограничивая уровень неправильных ответов точностью модели.