Poller: LLM은 시 이해 과제를 평가하는 데 적합합니까?

이 논문은 Poller(Poetry LLM Evaluator)를 소개합니다. 이는 역할극을 통해 인간의 판단을 모방하여 대규모 언어 모델(LLM)을 활용하여 시 이해력을 평가하는 새로운 방법론입니다. 이 접근 방식은 LLM이 시의 저자 관점을 채택하고, 상세한 정보를 사용하여 자동화된 효율성과 인간 전문 지식 간의 격차를 해소하도록 요구합니다.

• Poller는 모델이 시의 저자 역할을 수행하도록 함으로써 LLM과 인간 간 평가 오차를 줄입니다.
• 이 방법은 8개의 전문화된 차원에 걸쳐 시 해석을 평가합니다.
• 수사적 기법에 대해, Poller 기반 LLM은 기준선 방법 대비 94.55%의 오차 감소를 달성했습니다.
• 낯설게 하기(defamiliarization)에 대해, 이 방법은 기존 평가 접근법 대비 89.53%의 오차 감소를 달성했습니다.

이 연구는 LLM의 효율성과 인간 전문 지식의 미묘함을 효과적으로 결합하여 시 관련 과제에서의 자동 평가의 기반을 마련합니다.