162人の参加者による制御された研究は、大規模言語モデルに対するユーザーの評価が、モデルの真の能力ではなく、対話前のフレーミングによって主に駆動されていることを実証した。参加者は、自分のモデルが実際よりも最先端、古い、あるいは弱いと知らされ、その結果、基盤となる性能が同一であっても、意見や相互作用の行動が大幅に変化した。

  • 過大評価されたユーザーはモデルをより好意的に評価し、指示的なプロンプトをより多く使用した。
  • 過小評価されたユーザーはより長く、協調的なプロンプトを作成した。
  • 共同作成された出力の品質は、ユーザーに伝えられた内容ではなく、モデルの真の能力のみに依存した。
  • ユーザー印象の変化は、タスクのパフォーマンスではなく、モデルが期待を満たしたかどうかとユーザーの自信によって予測された。

これらの知見は、パブリックリーダーボードに使用される好みデータを含むLLM評価が、モデルそのものと同程度に期待の管理を測定していることを示唆している。