Um estudo intitulado "O Censo de uma Palavra" analisa a conformidade das opções de resposta entre 44 grandes modelos de linguagem usando um instrumento mínimo de 31 prompts de turno único. A pesquisa caracteriza como os modelos convergem para respostas específicas quando solicitados a escolher em um grande espaço de opções igualmente válidas, como nomear uma árvore.
- Ao serem pedidos para "escolher uma palavra -- qualquer palavra", os 44 modelos escolheram "serendipity" 41% das vezes.
- A convergência é extrema em algumas categorias, com uma resposta levando mais de 80% de todas as respostas em 7 dos 31 casos.
- A conformidade varia mais de quatro vezes entre os modelos, sendo os modelos ajustados por persona e comunidade os mais divergentes.
- Os principais flagships mais recentes são os mais conformistas, enquanto as classificações permanecem robustas à composição do roster (leave-one-family-out rho = 0.985).
- O campo é mais concentrado do que as pessoas em 18 das 20 categorias compartilhadas quando comparado às normas de produção de categorias humanas.
O estudo fornece um instrumento público e código para pontuar modelos pela surpresa da opção de resposta, revelando variação estruturada na conformidade entre diferentes linhagens de modelos.