Une étude contrôlée menée auprès de 162 participants démontre que les évaluations des grands modèles de langage par les utilisateurs sont principalement déterminées par le cadrage préalable à l'interaction plutôt que par la véritable capacité du modèle. On a indiqué aux participants que leur modèle était soit de pointe, soit plus ancien, soit plus faible qu'il ne l'était réellement, ce qui a considérablement modifié leurs opinions et leurs comportements d'interaction malgré une performance sous-jacente identique.
- Les utilisateurs surévalués ont jugé le modèle plus favorablement et ont utilisé un promptage plus directif.
- Les utilisateurs sous-évalués ont rédigé des prompts plus longs et plus collaboratifs.
- La qualité de la sortie co-créée dépendait uniquement de la véritable capacité du modèle, et non de ce qui avait été dit aux utilisateurs.
- Les changements dans les impressions des utilisateurs étaient prédits par le fait que le modèle ait satisfait aux attentes et par la confiance des utilisateurs, et non par la performance de la tâche.
Ces résultats suggèrent que les évaluations de LLM sollicitées auprès des utilisateurs, y compris les données de préférence utilisées pour les classements publics, mesurent la gestion des attentes au moins autant que le modèle lui-même.