Дообучение больших языковых моделей часто приводит к «разрыву между знанием и применением», когда модели запоминают новые факты, но не могут применить их в задачах последующего рассуждения. Чтобы изучить это явление, исследователи предложили технику под названием самовосстановление для мониторинга динамики пространственного распространения знаний внутри модели.
Исследование выявило, что запомненные представления могут существовать внутренне, но не направляться в вычислительно эффективные слои, что подтверждает гипотезу о несовпадении контуров знаний. Самовосстановление находит активационные участки, перемещение представлений в которые улучшает случаи неудачного обобщения. Эвристическая стратегия, основанная на этих выводах, восстанавливает 58--75% потенциального улучшения обобщающей способности.
Этот диагностический подход помогает объяснить, почему запомненные знания не обобщаются, и предлагает метод восстановления значительного прироста производительности во время дообучения модели.