Une étude exploratoire démontre que les grands modèles de langage présentent une asymétrie fonctionnelle entre la production et la perception du langage, bien qu'ils utilisent le même mécanisme de prédiction du prochain token pour les deux. En mesurant directement les probabilités des tokens plutôt que de s'appuyer sur un prompting métalinguistique, les chercheurs ont découvert que le simple cadrage du prompt induit des distributions de probabilités distinctes dans les architectures décodeur uniquement.
- En utilisant le modèle de base Llama-3.1-8B, l'étude a généré des poèmes sous des prompts de production et les a réévalués sous des prompts orientés perception.
- Les distances production-perception ont systématiquement dépassé les distances production-production, avec un ratio moyen global d'environ 1,8.
- L'effet s'est reproduit sur cinq modèles à poids ouverts : Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3 et Qwen2.5-7B-Instruct.
- L'analyse temporelle a montré que l'influence du prompt de perception est la plus forte au début de la séquence, la divergence diminuant à mesure que le contexte généré s'accumule.
Ces résultats suggèrent que le cadrage communicationnel impacte significativement la manière dont les LLM traitent l'information, établissant une distinction entre la génération de texte et son évaluation.