تقدم هذه الدراسة أول تقييم وصفي منهجي لمعايير التقييم التي ولّدها نموذج لغات كبيرة (LLM)، والمصممة لتقييم المخرجات مفتوحة النهاية في مهام استنساخ الأوراق البحثية. أعاد المؤلفون صياغة معايير التقييم إلى تنسيق قائمة التحقق، وقاموا بتقييم أربعة إعدادات للتوليد عبر نموذجين أساسيين.
- تم تقييم معايير التقييم بشكل ذاتي عبر التشابه الدلالي، وبشكل غيري ذاتي من خلال توافق الدرجات مع معايير التقييم المرجعية.
- تحسّن توافق التقييمات اللاحقة بشكل كبير بفضل الإعدادات المعززة، حيث اقترب أقوى إعداد من الأساسيات البشرية.
- لوحظ أن المكاسب الذاتية الناتجة عن التعزيز أكثر تواضعاً مقارنة بالتحسينات غير الذاتية.
- يكشف التحليل الإضافي أن معايير التقييم المولّدة بواسطة نماذج اللغات الكبيرة تميل إلى أن تكون دقيقة للغاية، ومتحيزة نحو الدرجات العالية، وأقل تكيفاً مع مجالات الأوراق البحثية المحددة.
تسلط النتائج الضوء على كل من الإمكانيات والقيود المرتبطة باستخدام نماذج اللغات الكبيرة لبناء معايير تقييم قابلة للتوسع، مما يشير إلى أنه رغم تحسين الإعدادات المعززة للتوافق، لا تزال هناك تحيزات كبيرة قائمة.