यह पेपर पोलर (Poetry LLM Evaluator) का परिचय देता है, एक नवीन विधि जो भूमिका निभाने के माध्यम से मानव निर्णय को अनुकरण करके कविता समझने का मूल्यांकन करने के लिए बड़े भाषा मॉडल का उपयोग करती है। इस दृष्टिकोण में एलएलएम को कवि के लेखक के दृष्टिकोण को अपनाने की आवश्यकता होती है, स्वचालित दक्षता और मानव विशेषज्ञता के बीच अंतर को पाटने के लिए विस्तृत जानकारी का उपयोग करते हुए।
- पोलर मॉडल को कवि के लेखक की भूमिका निभाने के माध्यम से एलएलएम और मानवों के बीच मूल्यांकन त्रुटि को कम करता है।
- विधि आठ विशेष आयामों में कविता व्याख्याओं का मूल्यांकन करती है।
- अलंकारिक तकनीकों के लिए, आधारभूत विधियों की तुलना में पोलर-आधारित एलएलएम 94.55% त्रुटि कमी हासिल करते हैं।
- विदेशीकरण (defamiliarization) के लिए, विधि पारंपरिक मूल्यांकन दृष्टिकोणों की तुलना में 89.53% त्रुटि कमी प्राप्त करती है।
यह कार्य एलएलएम की दक्षता को मानव विशेषज्ञता के सूक्ष्मता के साथ प्रभावी ढंग से जोड़कर कविता-संबंधित कार्यों में स्वचालित मूल्यांकन के लिए एक नींव स्थापित करता है।