Исследование пяти инструкционно-обученных моделей из трех семейств (от 2B до 14B) показывает, что отказ модели включает две различные оси: правильность ответа и возможность ответа на вопрос. Исследование выявляет, что стандартные оценки уверенности отслеживают правильность, но практически не реагируют на то, действительно ли вопрос имеет ответ, особенно для вопросов с ложными предпосылками.
- Линейный зонд на скрытых состояниях может обнаруживать неотвечаемые вопросы с AUROC от 0.69 до 0.77, тогда как стандартные метрики, такие как P(IK) и P(True), остаются близкими к случайным.
- Инструкция моделям проверять предпосылки дает обратный эффект, заставляя их оспаривать корректные предпосылки (57% ложных оспариваний), в то время как маршрутизация инструкций через зонд утраивает точность оспаривания.
- Калиброванная политика, использующая отдельные оценки возможности ответа и правильности, гарантирует покрытие 0.75 правильных ответов при пороге 0.75, по сравнению с только 0.31 для одного порога.
Этот подход позволяет контролировать уровень неотвечаемых ответов на любом масштабе, ограничивая уровень неправильных ответов точностью модели, обеспечивая более строгие гарантии по сравнению с методами с одним порогом.