一项名为“一词普查”的研究使用31个单轮提示的最小工具，分析了44个大语言模型在答案选择上的趋同现象。该研究描述了当要求从大量同等有效的选项（如命名一棵树）中进行选择时，模型如何收敛于特定答案。

  • 当被要求“选一个词——任何词”时，44个模型中有41%的情况选择了“serendipity”。
  • 在某些类别中趋同现象极为极端，在31个案例中的7个案例里，一个答案占据了超过80%的所有回答。
  • 不同模型之间的趋同性差异超过四倍，其中经过人设和社区微调的模型分歧最大。
  • 最新的主线旗舰模型最为趋同，而排名对名单构成的鲁棒性依然很强（leave-one-family-out rho = 0.985）。
  • 与人类类别生产规范相比，在20个共享类别中的18个类别里，该领域的集中度高于人类。

该研究提供了一个公开的工具和代码，用于通过答案选择的 surprisal 对模型进行评分，揭示了不同模型谱系之间趋同性的结构化差异。