تقدم هذه الورقة بولر (Poetry LLM Evaluator)، وهي طريقة مبتكرة تستغل نماذج اللغات الكبيرة لتقييم فهم الشعر من خلال محاكاة الحكم البشري عبر تمثيل الأدوار. يتطلب النهج أن تتبنى نماذج اللغات الكبيرة منظور مؤلف القصيدة، مستخدمةً معلومات مفصلة لسد الفجوة بين الكفاءة الآلية والخبرة البشرية.
- يقلل بولر من خطأ التقييم بين نماذج اللغات الكبيرة والبشر من خلال جعل النماذج تؤدي دور مؤلف القصيدة.
- تقيّم الطريقة تفسيرات القصائد عبر ثمانية أبعاد متخصصة.
- بالنسبة للتقنيات البلاغية، تحقق نماذج اللغات الكبيرة المعتمدة على بولر انخفاضاً في الخطأ بنسبة 94.55% مقارنةً بالأساسيات.
- بالنسبة لإثارة الغربة (defamiliarization)، تحقق الطريقة انخفاضاً في الخطأ بنسبة 89.53% مقارنةً بأساليب التقييم التقليدية.
تؤسس هذه العمل أساساً للتقييم الآلي في المهام المتعلقة بالشعر من خلال الجمع بفعالية بين كفاءة نماذج اللغات الكبيرة ودقة الخبرة البشرية.