Une analyse récente met en évidence une tendance structurelle fondamentale dans les architectures actuelles de grands modèles de langage à récupérer et à générer le récit statistique dominant présent dans leurs ensembles de données d'apprentissage. Ce comportement substitue efficacement l'évaluation objective basée sur la vérité (ground-truth) par la complétion de tokens probabiliste.
La recherche caractérise les modèles comme agissant comme des chambres d'écho du consensus internet plutôt que d'exécuter une inférence logique réelle sur les prémisses sous-jacentes.