研究人员推出了TrapQA，这是一个诊断性测试床，旨在调查大型语言模型为何会产生违反提示约束的幻觉答案。该研究将这一问题框架化为“推理不对齐”，其中统计上显著的潜在关联覆盖了在预训练期间建立的、对约束敏感的推理路径。

  • 该框架利用潜在键任务模型来展示预训练频率不平衡如何导致捷径路径占主导地位，从而引发正向推理损失。
  • TrapQA包含ScientistQA，它使用事实探针测试相似科学家之间的实体消歧；以及Real-Life Constrained QA，它在显著捷径下评估日常约束的遵循情况。
  • 结果表明，幻觉往往源于有偏见的潜在推理，而非简单的知识缺乏。

研究结果指出，解决提示支持的答案与受青睐的潜在关联之间的不匹配，对于减少语言模型中的幻觉至关重要。