Poller: Os LLMs são adequados para avaliar a tarefa de compreensão de poesia?

Este artigo apresenta o Poller (Poetry LLM Evaluator), um método inovador que utiliza modelos de linguagem grandes para avaliar a compreensão de poesia, emulando o julgamento humano por meio de interpretação de papéis. A abordagem exige que os LLMs adotem a perspectiva do autor do poema, utilizando informações detalhadas para preencher a lacuna entre a eficiência automatizada e a expertise humana.

• O Poller reduz o erro de avaliação entre LLMs e humanos fazendo com que os modelos interpretem o papel do autor do poema.
• O método avalia as interpretações dos poemas em oito dimensões especializadas.
• Para técnicas retóricas, os LLMs baseados no Poller alcançam uma redução de erro de 94,55% em comparação com métodos de linha de base.
• Para a desnaturalização (defamiliarization), o método alcança uma redução de erro de 89,53% em relação às abordagens convencionais de avaliação.

Este trabalho estabelece uma base para a avaliação automatizada em tarefas relacionadas à poesia, combinando efetivamente a eficiência dos LLMs com a nuance da expertise humana.