本文介绍了Poller（Poetry LLM Evaluator），这是一种新颖的方法，通过角色扮演模拟人类判断，利用大型语言模型来评估诗歌理解能力。该方法要求LLM采用诗歌作者的视角，利用详细信息弥合自动化效率与人类专业知识之间的差距。

  • Poller通过让模型扮演诗歌作者的角色，减少了LLM与人类之间的评估误差。
  • 该方法在八个专门维度上评估诗歌解读。
  • 对于修辞技巧，基于Poller的LLM相比基线方法实现了94.55%的误差降低。
  • 对于陌生化效果，该方法相比传统评估方法实现了89.53%的误差降低。

这项工作通过有效结合LLM的效率与人类专业知识的细微差别，为诗歌相关任务的自动化评估奠定了基础。