本記事は、クロスサーベイ・トランスファー（cross-survey transfer）を紹介しています。これは、大規模言語モデルが回答者の過去の回答に基づいて全く異なる質問への回答を予測するシリコンサンプリングのための厳密な評価フレームワークです。台湾選挙と民主化調査（TEDS）2024のデータを用い、本研究は27B-120Bパラメータの3つのオープンウェイトLLMを、教師あり機械学習のベースラインと比較して評価しています。

  • ゼロショットLLMは、本質的に未見の項目において52%の精度を達成し、同人口層のデータで訓練された教師ありランダムフォレストに6パーセントポイント以内に迫っています。
  • 安定した構成概念の予測可能性の階層が浮上しており、党派性のある態度では67%から主権では23%まで範囲があります。
  • 分散崩壊と安全整列効果は、以前報告されていたものよりもより微妙であることが発見されました。分散崩壊は教師ありモデルにも影響を与え、整列効果はモデルファミリー間で劇的に変化します。

これらの知見は、LLMが個人レベルの予測を通じて従来の調査研究を効果的に補完できることを示すことで、シリコンサンプリングの可能性と限界の両方を明確にしています。