تُظهر دراسة جديدة أن تقييمات الإنصاف الحالية تبالغ بشكل كبير في السلامة الأخلاقية للنماذج اللغوية الكبيرة من خلال عدم مراعاة كيفية تقديم الهوية الديموغرافية. يحدد المؤلفون "الامتثال المؤدي"، حيث تبدو النماذج عادلة عندما تكون الهوية علامة صريحة، لكنها تصبح أقل عدالة بشكل قابل للقياس عندما يجب استنتاجها.
- إخفاء العلامات الصريحة يزيد من القرارات الضارة بنسبة 4.4 نقطة مئوية ويغير تصنيفات سلامة النموذج.
- يستمر التحول في الإنصاف حتى عندما تستنتج النماذج الديموغرافيا بشكل صحيح، مما يستبعد خطأ النسب.
- يقترح الباحثون "فجوة وضوح الإشارة"، وهي مقياس للمرونة غير مرتبط بنموذج معين لفصل السلامة الأخلاقية الحقيقية عن الامتثال المؤدي.
يجادل المؤلفون بأن تقييمات الإنصاف التي تتجاهل تباين الإشارات تقيس فقط الامتثال السطحي ولا ينبغي أن تكون أساسًا لقرارات النشر في الإعدادات عالية المخاطر.