Cet article présente Poller (Poetry LLM Evaluator), une méthode novatrice qui exploite les grands modèles de langage pour évaluer la compréhension poétique en imitant le jugement humain par le jeu de rôle. L'approche nécessite que les LLM adoptent la perspective de l'auteur du poème, en utilisant des informations détaillées pour combler l'écart entre l'efficacité automatisée et l'expertise humaine.

  • Poller réduit l'erreur d'évaluation entre les LLM et les humains en faisant jouer aux modèles le rôle de l'auteur du poème.
  • La méthode évalue les interprétations poétiques selon huit dimensions spécialisées.
  • Pour les techniques rhétoriques, les LLM basés sur Poller atteignent une réduction d'erreur de 94,55 % par rapport aux méthodes de référence.
  • Pour la défamiliarisation, la méthode atteint une réduction d'erreur de 89,53 % par rapport aux approches d'évaluation conventionnelles.

Ce travail établit une base pour l'évaluation automatisée dans les tâches liées à la poésie en combinant efficacement l'efficacité des LLM avec la nuance de l'expertise humaine.