"한 단어 인구 조사"라는 제목의 연구는 31개의 단일 턴 프롬프트라는 최소한의 도구를 사용하여 44개 대규모 언어 모델 간의 정답 선택 동조성을 분석한다. 이 연구는 나무 이름을 말하기와 같이 동일하게 유효한 옵션의 넓은 공간에서 하나를 고르라고 요청받을 때 모델이 특정 정답으로 어떻게 수렴하는지를 특징짓는다.
- "단어를 하나 골라——무슨 단어도"라고 물었을 때, 44개 모델 중 41%의 확률로 "serendipity"가 선택되었다.
- 일부 카테고리에서는 수렴이 극심하여, 31가지 경우 중 7가지에서 하나의 정답이 전체 정답의 80% 이상을 차지했다.
- 동조성은 모델 간에 4배 이상 변동하며, 페르소나 및 커뮤니티 튜닝된 모델이 가장 다양하다.
- 최신 메인라인 플래그십 모델이 가장 동조성이 높으며, 로스터 구성에 대해 순위는 견고하게 유지된다(leave-one-family-out rho = 0.985).
- 인간 카테고리 생성 규범과 비교할 때, 공유된 20개 카테고리 중 18개에서 분야가 더 집중되어 있다.
이 연구는 정답 선택의 놀라움 지수를 기준으로 모델을 평가하기 위한 공개 도구와 코드를 제공하며, 서로 다른 모델 계보 전반에 걸친 동조성의 구조적 변이를 드러낸다.