أظهرت دراسة خاضعة للرقابة شملت 162 مشاركًا أن تقييمات المستخدمين للنماذج اللغوية الكبيرة تُقودها بشكل أساسي الإطارات السابقة للتفاعل بدلاً من القدرة الحقيقية للنموذج. طُلب من المشاركين معرفة أن نموذجهم كان إما متقدمًا، أو أقدم، أو أضعف مما هو عليه في الواقع، مما غيّر آراءهم وسلوكيات التفاعل بشكل كبير على الرغم من تطابق الأداء الأساسي.
- قيّم المستخدمون الذين أُفرط في تقديرهم النموذج بشكل أكثر إيجابية واستخدموا توجيهات أكثر توجيهية.
- كتب المستخدمون الذين أُقلل من تقديرهم توجيهات أطول وأكثر تعاونًا.
- اعتمدت جودة المخرجات المشتركة فقط على القدرة الحقيقية للنموذج، وليس على ما قيل للمستخدمين.
- كان التغير في انطباعات المستخدمين يتنبأ به مدى تلبية النموذج للتوقعات وثقة المستخدم، وليس أداء المهمة.
تشير النتائج إلى أن تقييمات نماذج اللغات الكبيرة المستحثة من المستخدمين، بما في ذلك بيانات الأفضلية المستخدمة في القوائم العامة، تقيس إدارة التوقعات بقدر ما تقيس النموذج نفسه.