本論文では、Poller（Poetry LLM Evaluator）を紹介します。これは、ロールプレイを通じて人間の判断を模倣し、大規模言語モデルを活用して詩の理解力を評価する革新的な手法です。このアプローチでは、LLMが詩の作者の視点を採用し、詳細な情報を用いて自動化された効率と人間の専門知識のギャップを埋めます。

  • Pollerは、モデルに詩の作者の役割を演じさせることで、LLMと人間の間の評価誤差を削減します。
  • この手法は8つの専門的な次元にわたって詩の解釈を評価します。
  • 修辞技法については、PollerベースのLLMがベースライン手法と比較して94.55%の誤差削減を実現しました。
  • 陌生化（defamiliarization）については、従来の評価アプローチと比較して89.53%の誤差削減を実現しています。

この研究は、LLMの効率性と人間の専門知識のニュアンスを効果的に組み合わせることで、詩関連タスクにおける自動評価の基盤を確立します。