Makalah ini memperkenalkan Poller (Poetry LLM Evaluator), metode inovatif yang memanfaatkan model bahasa besar untuk menilai pemahaman puisi dengan meniru penilaian manusia melalui permainan peran. Pendekatan ini mengharuskan LLM mengadopsi perspektif penulis puisi, menggunakan informasi terperinci untuk menjembatani kesenjangan antara efisiensi otomatis dan keahlian manusia.
- Poller mengurangi kesalahan evaluasi antara LLM dan manusia dengan让 model berperan sebagai penulis puisi.
- Metode ini menilai interpretasi puisi di delapan dimensi khusus.
- Untuk teknik retoris, LLM berbasis Poller mencapai pengurangan kesalahan sebesar 94,55% dibandingkan metode dasar.
- Untuk defamiliarisasi, metode ini mencapai pengurangan kesalahan sebesar 89,53% dibandingkan pendekatan evaluasi konvensional.
Karya ini menetapkan fondasi untuk evaluasi otomatis dalam tugas terkait puisi dengan secara efektif menggabungkan efisiensi LLM dengan nuansa keahlian manusia.