यह अध्ययन पेपर पुनरुत्पादन कार्यों में खुले-अंतर्गत आउटपुट का मूल्यांकन करने के लिए डिज़ाइन किए गए LLM-जनित रबरिक्स का पहला व्यवस्थित मेटा-मूल्यांकन प्रस्तुत करता है। लेखकों ने रबरिक्स को चेकलिस्ट-शैली फॉर्मेट में पुनर्परिभाषित किया और दो बैकबोन मॉडल पर चार जनरेशन सेटिंग्स का मूल्यांकन किया।
- रबरिक्स का आंतरिक रूप से अर्थवैज्ञानिक समानता के माध्यम से और बाह्य रूप से भूमि-सत्य रबरिक्स के साथ स्कोर एलाइनमेंट के माध्यम से मूल्यांकन किया जाता है।
- बढ़ाए गए जनरेशन सेटिंग्स डाउनस्ट्रीम एलाइनमेंट को काफी बेहतर बनाते हैं, जिसमें सबसे मजबूत सेटिंग मानव आधार रेखाओं के करीब पहुंचती है।
- अतिरिक्त विश्लेषण से पता चलता है कि LLM-जनित रबरिक्स अत्यधिक सूक्ष्म, उच्च स्कोर की ओर पूर्वाग्रही और विशिष्ट पेपर डोमेन के लिए कम अनुकूलनीय प्रवृत्त होते हैं।
निष्कर्ष LLM का उपयोग स्केलेबल बेंचमार्क निर्माण में करने की सुविधाओं और सीमाओं दोनों को उजागर करते हैं, यह संकेत देते हुए कि जबकि बढ़ाए गए सेटिंग्स एलाइनमेंट को बढ़ाते हैं, महत्वपूर्ण पूर्वाग्रह बने रहते हैं।