最近の分析は、現在のLarge Language Modelアーキテクチャが、事前学習データセットに存在する支配的な統計的物語を取得して出力するという根本的な構造的傾向を浮き彫りにしています。この行動は、確率に基づくトークン補完を客観的なground-truth評価に置き換える効果を持っています。

研究では、モデルは基盤となる前提に対して実際の論理的推論を実行するのではなく、インターネットの合意に対するエコーチャンバーのように機能すると特徴付けられています。