Контролируемое исследование с участием 162 человек демонстрирует, что пользовательские оценки больших языковых моделей в первую очередь определяются предварительным контекстом до взаимодействия, а не истинной способностью модели. Участникам сообщали, что их модель является либо передовой, либо устаревшей, либо слабее, чем она есть на самом деле, что существенно меняло их мнения и поведение при взаимодействии, несмотря на идентичную базовую производительность.

  • Пользователи, которым преувеличили возможности модели, оценивали её более благоприятно и использовали более директивный промптинг.
  • Пользователи, которым занизили ожидания, писали более длинные и более совместные промпты.
  • Качество совместно созданного вывода зависело только от истинной способности модели, а не от того, что говорили пользователям.
  • Изменения в пользовательских впечатлениях предсказывались тем, соответствовала ли модель ожиданиям и уверенности пользователя, а не производительностью задачи.

Результаты указывают на то, что оценки LLM, получаемые от пользователей, включая данные предпочтений, используемые для публичных рейтингов, измеряют управление ожиданиями как минимум в той же степени, сколько и саму модель.