Исследование под названием «Однословная перепись» анализирует конформность вариантов ответов среди 44 больших языковых моделей с использованием минимального инструмента из 31 одношагового промпта. Исследование характеризует то, как модели приходят к определенным ответам при выборе из большого пространства равнозначных вариантов, например, при названии дерева.
- При запросе «выберите слово — любое слово» 44 модели выбирали «serendipity» в 41% случаев.
- Конвергенция экстремальна в некоторых категориях: один ответ занимал более 80% всех ответов в 7 из 31 случая.
- Конформность варьируется более чем в четыре раза среди моделей, при этом модели с персонажей и обученные сообществом являются наиболее расходящимися.
- Самые новые основные флагманские модели являются самыми конформными, тогда как рейтинги остаются устойчивыми к составу набора (leave-one-family-out rho = 0.985).
- Поле более сконцентрировано, чем люди, в 18 из 20 общих категорий при сравнении с нормами производства категорий людьми.
Исследование предоставляет общедоступный инструмент и код для оценки моделей по неожиданности выбора ответа, выявляя структурированную вариацию конформности среди различных линий моделей.