大規模言語モデルが客観的なクエリと主観的なクエリをどのように処理するかを比較することで、プロンプトされた応答がモデルの価値観を信頼できる形で反映するという仮定に疑問を投げかける研究がある。研究者は、3つの客観的データセット（MMLU、ARC、CulturalBench）と3つの主観的データセット（Political Compass Test、ValueBench、World Values Survey）にわたって4つのインストラクションチューニング済みモデルファミリーを評価した。各質問に対して様々なプロンプト変更を適用し、モデルがバリアント間で一貫した回答を維持しているかどうかを測定した。

  • 二項化一般推定方程式を用いて、モデル、データセット、プロンプトカテゴリ、およびそれらの相互作用に有意な効果が認められた。
  • データセットタイプとプロンプトカテゴリの相互作用は特に大きく、堅牢性が質問の性質に基づいて大幅に変化することを示している。
  • 結果は、プロンプト堅牢性が均一ではなく、特定の質問タイプ、適用されたプロンプト変更の種類、およびモデルアーキテクチャに大きく依存することを示している。

これらの知見は、応答を政治的価値観や社会的態度の証拠として扱う調査スタイルの評価が脆いことを示唆しており、異なる質問タイプ間での一貫性は仮定できないからである。