Статья рассматривает загадку того, как большие языковые модели приобретают причинную структуру, несмотря на ограничения стандартных формализмов, таких как интервенционистский подход Джуды Перла и фреймворк Неймана-Рубина. В ней утверждается, что большие языковые модели используют специфический индуктивный метод, известный как вариационная индукция, который опирается на логику различия. Во время обучения модели обрабатывают огромные объемы текста из различных контекстов, чтобы определить, что является «разностным фактором» (difference-maker) или «нейтральным фактором» (indifference-maker) в последовательностях слов. Анализ исследует, как архитектурные компоненты, а именно токенизированные эмбеддинги и механизмы самовнимания, способствуют этому процессу вариационной индукции. Эта логическая структура фундаментально параллельна экспериментальному методу, используемому в науке. В обоих случаях причинно-следственные связи выводятся путем систематического изменения отдельных обстоятельств для наблюдения за их влиянием на явление.