Исследователи представляют TrapQA, диагностическую тестовую среду, предназначенную для изучения причин появления у больших языковых моделей галлюцинированных ответов, нарушающих ограничения промпта. Исследование рассматривает эту проблему как «несоответствие вывода» (inference misalignment), при котором статистически значимые латентные ассоциации подавляют пути рассуждений, чувствительные к ограничениям, установленные в процессе предобучения.
- Фреймворк использует модель латентной ключевой задачи для демонстрации того, как дисбаланс частоты предобучения может привести к доминированию коротких путей, вызывая положительную потерю вывода.
- TrapQA состоит из ScientistQA, которая тестирует разрешение неоднозначности сущностей среди похожих ученых с помощью фактических зондов, и Real-Life Constrained QA, которая оценивает соблюдение повседневных ограничений при наличии ярких коротких путей.
- Результаты показывают, что галлюцинации часто возникают из-за смещенного латентного вывода, а не просто из-за отсутствия знаний.
Выводы указывают на то, что устранение несоответствия между ответами, поддерживаемыми промптом, и предпочитаемыми латентными ассоциациями имеет решающее значение для снижения галлюцинаций в языковых моделях.