Une étude révèle que la robustesse des prompts LLM dépend de l'objectivité ou de la subjectivité des questions

Une étude remet en question l'hypothèse selon laquelle les réponses aux prompts reflètent de manière fiable les valeurs d'un modèle en comparant la façon dont les grands modèles de langage (LLM) traitent les requêtes objectives par rapport aux requêtes subjectives. Les chercheurs ont évalué quatre familles de modèles ajustés sur instructions à travers trois jeux de données objectifs (MMLU, ARC, CulturalBench) et trois jeux de données subjectifs (Political Compass Test, ValueBench, World Values Survey). En appliquant divers changements de prompt à chaque question, ils ont mesuré si les modèles maintenaient des réponses cohérentes entre les variantes.

• Des effets significatifs ont été trouvés pour le modèle, le jeu de données, la catégorie de prompt et leurs interactions en utilisant des équations d'estimation généralisées binomiales.
• L'interaction entre le type de jeu de données et la catégorie de prompt était particulièrement importante, indiquant que la robustesse varie considérablement en fonction de la nature de la question.
• Les résultats démontrent que la robustesse des prompts n'est pas uniforme mais dépend fortement du type de question spécifique, du type de changement de prompt appliqué et de l'architecture du modèle.

Ces découvertes suggèrent que les évaluations de style sondage qui traitent les réponses comme une preuve de valeurs politiques ou d'attitudes sociales sont fragiles, car la cohérence ne peut pas être supposée entre différents types de questions.