В статье представлена дистилляция будущего уверенности — метод, обучающий предикторы на скрытых представлениях до решения с использованием оценок уверенности учителя, полученных из пост-решения корректности зондов. Этот подход позволяет модели предвосхищать информацию, связанную с уверенностью, до завершения генерации ответа.
- Пост-решение уверенности последовательно лучше калибрована и более дискриминативна, чем оценки чувства знания до решения.
- Линейные зонды, обученные на скрытых представлениях, восстанавливают существенно более богатую информацию, связанную с уверенностью, чем явно вербализуют модели.
- Дистиллированные предикторы требуют только представлений до решения для вывода, остаются высоко эффективными по выборке и переносятся между наборами данных в пределах одной области.
Авторы считают это важным, поскольку это позволяет значительно более надежную, но дешевую оценку уверенности для последующих решений в системах, учитывающих уверенность.