162명의 참가자를 대상으로 한 통제된 연구는 대규모 언어 모델에 대한 사용자 평가가 모델의 실제 능력보다는 상호작용 전의 프레임에 의해 주로 결정됨을 입증했습니다. 참가자들은 자신의 모델이 실제로보다 최첨단, 구형, 또는 약하다고被告知되었고, 이로 인해 동일한 기본 성능에도 불구하고 의견과 상호작용 행동이 크게 변화했습니다.
- 과대평가된 사용자는 모델을 더 긍정적으로 평가하고 지시적 프롬프팅을 더 많이 사용했습니다.
- 과소평가된 사용자는 더 길고 협력적인 프롬프트를 작성했습니다.
- 공동 생성된 출력의 품질은 사용자가被告知된 내용이 아니라 모델의 실제 능력에만 의존했습니다.
- 사용자 인상의 변화는 작업 성능보다는 모델이 기대를 충족했는지와 사용자 자신감에 의해 예측되었습니다.
이러한 발견은 공개 리더보드에 사용되는 선호 데이터를 포함한 LLM 평가가 모델 자체만큼이나 기대 관리를 측정하고 있음을 시사합니다.