Новое исследование выявляет «разрыв между знанием и использованием» — явление, при котором большие языковые модели запоминают факты после дообучения, но не могут применить их в задачах последующего рассуждения. Авторы характеризуют этот разрыв через дефицит точности и временные задержки между запоминанием и обобщением.
Исследователи использовали новую технику вмешательства под названием самовосстановление для мониторинга динамики проникновения внутренних знаний во время дообучения на невидимых данных. Этот метод выявляет конкретные места активации, где перемещение представлений значительно улучшает случаи неудачного обобщения, что поддерживает гипотезу о том, что запомненные представления существуют, но не направляются в вычислительно эффективные слои. Для решения этой проблемы они разработали эвристическую стратегию, восстанавливающую 58--75% потенциального улучшения обобщения.
Результаты демонстрируют, что несоответствие между хранимыми знаниями и вычислительными путями является ключевым фактором неудач при дообучении, предлагая диагностический подход для повышения полезности моделей в различных областях.