يقدم الباحثون مقياس ارتباط الاحتمال النسبي (RPAM)، وهو طريقة تقييم من النوع العلوي لنماذج اللغة التوليدية تحلل التضمينات أو احتمالات الاستمرار لتقييم الارتباطات الكامنة.
- صُمم RPAM للتغلب على حدود تعميم مقاييس النوع السفلي من خلال فحص النماذج على مستوى أساسي بدلاً من الاعتماد على نص مولّد متغير.
- تم اختبار المقياس على Mistral-7B-Instruct وMistral-7B وGPT-2 باستخدام مجموعات بيانات تشمل WEAT-WS وBellezza وWS-353 وSST2.
- أظهرت النتائج علاقة قوية بين قياسات RPAM وكل من الارتباطات الضمنية/الصريحة البشرية والتحيزات المقاسة في مهام النوع السفلي، متفوقة على القيم القياسية السابقة حيثما ينطبق ذلك.
يعالج RPAM الفجوة في مقاييس النوع العلوي من خلال توفير طريقة تكشف عن علاقات قوية مع الارتباطات الواقعية، مما يتيح تحليلاً منهجياً عبر نماذج اللغة المختلفة.