Un estudio titulado "El Censo de una Palabra" analiza la conformidad de las opciones de respuesta entre 44 grandes modelos de lenguaje utilizando un instrumento mínimo de 31 prompts de turno único. La investigación caracteriza cómo los modelos convergen en respuestas específicas cuando se les pide elegir dentro de un gran espacio de opciones igualmente válidas, como nombrar un árbol.

  • Cuando se les pidió "elegir una palabra -- cualquier palabra", el 41% de las veces los 44 modelos eligieron "serendipity".
  • La convergencia es extrema en algunas categorías, con una respuesta tomando más del 80% de todas las respuestas en 7 de los 31 casos.
  • La conformidad varía más de cuatro veces entre los modelos, siendo los modelos ajustados por persona y comunidad los más divergentes.
  • Las nuevas banderas principales son las más conformistas, mientras que los rankings permanecen robustos a la composición del roster (leave-one-family-out rho = 0.985).
  • El campo está más concentrado que las personas en 18 de las 20 categorías compartidas al compararse con las normas de producción de categorías humanas.

El estudio proporciona un instrumento público y código para puntuar los modelos por la sorpresa de la opción de respuesta, revelando una variación estructurada en la conformidad entre diferentes linajes de modelos.