162 भागीदारों के एक नियंत्रित अध्ययन से पता चलता है कि बड़े भाषा मॉडलों पर उपयोगकर्ता मूल्यांकन मुख्य रूप से इंटरैक्शन से पहले के फ्रेमिंग द्वारा संचालित होते हैं, न कि मॉडल की वास्तविक क्षमता द्वारा। भागीदारों को बताया गया था कि उनका मॉडल या तो अग्रणी है, पुराना है, या वास्तव में होने से कमजोर है, जिसने समान अंतर्निहित प्रदर्शन के बावजूद उनके विचारों और इंटरैक्शन व्यवहार को काफी बदल दिया।
- ओवरसोल्ड उपयोगकर्ताओं ने मॉडल का अधिक अनुकूल रेटिंग दिया और अधिक निर्देशात्मक प्रॉम्प्टिंग का उपयोग किया।
- अंडरसोल्ड उपयोगकर्ताओं ने लंबे, अधिक सहयोगात्मक प्रॉम्प्ट लिखे।
- सह-सृजित आउटपुट की गुणवत्ता केवल मॉडल की वास्तविक क्षमता पर निर्भर करती थी, न कि उपयोगकर्ताओं को क्या बताया गया था।
- उपयोगकर्ता प्रभावों में बदलाव का पूर्वानुमान मॉडल ने अपेक्षाओं और उपयोगकर्ता आत्मविश्वास को पूरा किया या नहीं, इससे लगाया गया था, न कि कार्य प्रदर्शन से।
निष्कर्ष सुझाते हैं कि उपयोगकर्ता-उत्प्रेरित LLM मूल्यांकन, जिसमें सार्वजनिक लीडरबोर्ड्स के लिए उपयोग किए जाने वाले प्राथमिकता डेटा शामिल हैं, कम से कम उतने ही मॉडल की तुलना में अपेक्षा प्रबंधन को मापते हैं।