تتحدى دراسة الافتراض القائل بأن الاستجابات المستندة إلى الاستعلامات تعكس قيم النموذج بشكل موثوق من خلال مقارنة كيفية تعامل نماذج اللغة الكبيرة مع الاستفسارات الموضوعية مقابل الذاتية. قام الباحثون بتقييم عائلات نماذج مدربة على التعليمات عبر ثلاث مجموعات بيانات موضوعية (MMLU، ARC، CulturalBench) وثلاث مجموعات بيانات ذاتية (Political Compass Test، ValueBench، World Values Survey). من خلال تطبيق تغييرات استعلام مختلفة على كل سؤال، قاسوا ما إذا كانت النماذج تحافظ على إجابات متسقة عبر المتغيرات.
- وُجدت تأثيرات كبيرة للنموذج، ومجموعة البيانات، وفئة الاستعلام، وتفاعلاتها باستخدام معادلات التقدير المعممة ذات التوزيع الثنائي.
- كان التفاعل بين نوع مجموعة البيانات وفئة الاستعلام كبيرًا بشكل خاص، مما يشير إلى أن المتانة تختلف بشكل كبير بناءً على طبيعة السؤال.
- تظهر النتائج أن متانة الاستعلام ليست موحدة بل تعتمد بشدة على نوع السؤال المحدد، ونوع تغيير الاستعلام المطبق، وبنية النموذج.
تشير هذه النتائج إلى أن التقييمات على نمط الاستطلاعات التي تعامل الاستجابات كدليل على القيم السياسية أو المواقف الاجتماعية هي هشة، حيث لا يمكن افتراض الاتساق عبر أنواع الأسئلة المختلفة.