एक नए अध्ययन से पता चलता है कि वर्तमान समानता मूल्यांकन बड़े भाषा मॉडलों की नैतिक सुरक्षा का काफी अतिआकलन करते हैं, क्योंकि वे जनसांख्यिकीय पहचान को कैसे प्रस्तुत किया जाता है, इसका हिसाब नहीं रखते। लेखकों ने "प्रदर्शन-आधारित अनुपालन" की पहचान की है, जहां मॉडल तभी न्यायसंगत लगते हैं जब पहचान एक स्पष्ट लेबल हो, लेकिन जब इसे निहित करना पड़े तो वे मापनीय रूप से कम न्यायसंगत हो जाते हैं।
- स्पष्ट लेबल छिपाने से हानिकारक निर्णयों में 4.4 प्रतिशत अंक की वृद्धि होती है और मॉडल सुरक्षा रैंकिंग बदल जाती है।
- समानता में यह बदलाव तब भी बना रहता है जब मॉडल जनसांख्यिकीय पहचान को सही ढंग से निहित करते हैं, जिससे दोषारोपण त्रुटि का खंडन होता है।
- शोधकर्ताओं ने "संकेत दृश्यता अंतराल" (Cue Visibility Gap) प्रस्तावित किया है, जो एक मॉडल-स्वतंत्र स्थिरता मापदंड है जो वास्तविक नैतिक सुरक्षा को प्रदर्शन-आधारित सुरक्षा से अलग करता है।
लेखकों का तर्क है कि संकेत भिन्नता को छोड़ने वाले समानता मूल्यांकन केवल सतही अनुपालन को मापते हैं और उच्च जोखिम वाले परिदृश्यों में तैनाती निर्णयों की नींव नहीं होने चाहिए।