يقدم المؤلفون مهمة Schelling لعدم التناظر المعرفي (EAST)، وهي لعبة حوار بين لاعبين مصممة لقياس قدرات Theory of Mind (ToM) القوية والقابلة للتعميم في النماذج اللغوية الكبيرة. يعالج هذا النهج قيود التقييمات التقليدية القائمة على النص، مثل مهمة سالي-آن، والتي يمكن التلاعب بها بسبب التعرض أثناء التدريب المسبق.
- يتطلب EAST من أزواج LLM-LLM أن تتقارب بشكل مستقل نحو نقاط Schelling دلالية تحت حالات مختلفة من الشفافية المعرفية.
- تكشف الدراسة عن فجوة قدرات كبيرة في الاستدلال الاجتماعي الوظيفي، حيث نجحت فقط النماذج الرائدة في التنقل عبر المهام.
- يُظهر التحليل أن فشل التنسيق يُعزى بشكل أساسي إلى أخطاء تتبع المعرفة، مثل الخلط بين المعرفة الخاصة والمعرفة المشتركة.
تشير النتائج إلى أنه على الرغم من الأداء العالي في المقاييس الثابتة التقليدية، يظل الاستدلال الاجتماعي القوي وتتبع المعرفة عقبتين حرجتين للتقييم والتطوير المستقبلي للنماذج اللغوية الكبيرة.