"一語国勢調査"と題された研究は、31のシングルターンプロンプトという最小限の道具を用いて、44の大規模言語モデルにおける回答選択肢の同調性を分析している。この研究は、木の名前を挙げるなど、同等に有効な選択肢の広大な空間から一つを選ぶよう求められた際、モデルが特定の回答にどのように収束するかを特徴づけている。

  • 「単語を一つ選んで——どんな単語でも」と尋ねられたとき、44のモデルのうち41%の確率で「serendipity」が選ばれた。
  • いくつかのカテゴリーでは収束が極端であり、31の場合のうち7つで一つの回答が全回答の80%以上を占めた。
  • モデル間で同調性は4倍以上変動し、ペルソナやコミュニティ向けに調整されたモデルが最も多様であった。
  • 最新のメインラインフラッグシップモデルが最も同調性が高く、ロスターの構成に対してランキングは頑健である（leave-one-family-out rho = 0.985）。
  • 人間の-category-生成規範と比較すると、20の共有カテゴリーのうち18で分野の方が集中している。

この研究は、回答選択肢の不意打ち度によってモデルをスコアリングするための公開された道具とコードを提供しており、異なるモデル系統間で同調性の構造化された変動を明らかにしている。