शोधकर्ताओं ने सापेक्ष प्रायिकता सहसंबंध मापदंड (RPAM) पेश किया है, जो जनरेटिव भाषा मॉडल के लिए एक अपस्ट्रीम मूल्यांकन विधि है जो अंतर्निहित सहसंबंधों का आकलन करने के लिए एम्बेडिंग्स या निरंतरता प्रायिकताओं का विश्लेषण करती है।
- RPAM को मौलिक स्तर पर मॉडल की जांच करके, बदलते उत्पन्न पाठ पर निर्भर रहने के बजाय, डाउनस्ट्रीम मापदंडों के सामान्यीकरण सीमाओं को पार करने के लिए डिज़ाइन किया गया है।
- इस मापदंड का WEAT-WS, Bellezza, WS-353 और SST2 सहित डेटासेट का उपयोग करके Mistral-7B-Instruct, Mistral-7B और GPT-2 पर परीक्षण किया गया था।
- परिणामों से पता चलता है कि RPAM मापन और डाउनस्ट्रीम कार्यों में मापे गए मानव अंतर्निहित/स्पष्ट सहसंबंधों और पूर्वाग्रहों के बीच एक मजबूत संबंध है, जहां लागू होता है वहां पूर्व रिकॉर्ड मानों से बेहतर प्रदर्शन करता है।
RPAM वास्तविक दुनिया के सहसंबंधों के साथ मजबूत संबंधों को उजागर करने वाली एक विधि प्रदान करके अपस्ट्रीम मापदंडों में अंतराल को दूर करता है, जिससे विभिन्न भाषा मॉडल के लिए सिद्धांत-आधारित विश्लेषण सक्षम होता है।