Un estudio controlado con 162 participantes demuestra que las evaluaciones de los usuarios sobre modelos de lenguaje grandes están impulsadas principalmente por el encuadre previo a la interacción en lugar de la verdadera capacidad del modelo. Se les dijo a los participantes que su modelo era de vanguardia, más antiguo o más débil de lo que realmente era, lo que desplazó significativamente sus opiniones y comportamientos de interacción a pesar del rendimiento subyacente idéntico.
- Los usuarios sobrevalorados calificaron el modelo de manera más favorable y utilizaron un prompting más directivo.
- Los usuarios infravalorados escribieron prompts más largos y más colaborativos.
- La calidad de la salida co-creada dependió únicamente de la verdadera capacidad del modelo, no de lo que se les dijo a los usuarios.
- Los cambios en las impresiones de los usuarios fueron predichos por si el modelo cumplió con las expectativas y la confianza del usuario, no por el rendimiento de la tarea.
Los hallazgos sugieren que las evaluaciones de LLM solicitadas al usuario, incluidos los datos de preferencia utilizados para los tableros públicos, miden la gestión de expectativas al menos tanto como al propio modelo.