В данном исследовании проводится факторизованный анализ оценки неопределённости на основе проб для определения того, что определяет производительность при обнаружении галлюцинаций в больших языковых моделях. Исследование изолирует переменные по дизайну признаков, обучающим данным и условиям оценки, чтобы предоставить чёткие выводы об эффективных методологиях.
- Сырые скрытые состояния и признаки внимания превосходят другие варианты внутри домена, но испытывают трудности при сдвиге распределения.
- Структурированные и сжатые признаки оказываются более устойчивыми при столкновении со сдвигами распределения по сравнению с сырыми сигналами.
- Стратегии промптинга и конструирование меток существенно влияют на поведение проб и результаты производительности.
- Были разработаны предварительно обученные на бенчмарках пробы, которые достаточно хорошо переносятся на задачи открытой фактической генерации.
Авторы предоставляют стабильную готовую базовую линию для оценки неопределённости и призывают сообщество принять более ориентированные на развертывание методы оценки для этих оценщиков.