연구자들은 대규모 언어 모델이 프롬프트 제약 조건을 위반하는 환각적 답변을 생성하는 이유를 조사하기 위해 설계된 진단용 테스트베드인 TrapQA를 소개합니다. 이 연구는 이 문제를 "추론 불일치"로 규정하며, 통계적으로 중요한 잠재적 연관성이 사전 학습 중에 확립된 제약 조건 민감한 추론 경로를 압도한다고 설명합니다.
- 이 프레임워크는 잠재 키-태스크 모델을 활용하여 사전 학습 빈도 불균형이 단축 경로를 지배하고 양의 추론 손실을 유발하는 방식을 입증합니다.
- TrapQA에는 유사한 과학자들 간의 엔티티 모호성 해결을 사실 기반 프로브로 테스트하는 ScientistQA와 중요한 단축 경로 하에서 일상적인 제약 조건 준수를 평가하는 Real-Life Constrained QA가 포함되어 있습니다.
- 결과는 환각이 단순한 지식 부족보다는 편향된 잠재적 추론에서 자주 발생함을 나타냅니다.
이러한 발견은 프롬프트 지원 답변과 선호되는 잠재적 연관성 간의 불일치를 해결하는 것이 언어 모델의 환각을 줄이는 데 중요함을 시사합니다.