В статье представлен SHIFT — новая архитектура, которая смягчает конфликты знаний в Retrieval-Augmented Generation (RAG), переформулируя модификацию на уровне нейронов как обучаемую модуляцию вентилей. Этот подход позволяет большим языковым моделям адаптивно регулировать внутренние активации для разрешения конфликтов между извлечённым контекстом и параметрическими знаниями.

  • SHIFT оснащает LLM лёгким модулем вентиля, оставляя основную модель замороженной, и оптимизирует менее 0,01% обучаемых параметров.
  • Модуль вентиля корректирует внутренние представления во время генерации, чтобы адаптивно использовать как контекстуальные, так и параметрические знания.
  • Масштабные эксперименты на шести наборах данных подтверждают эффективность SHIFT по сравнению с различными базовыми моделями.

Этот метод устраняет риск непреднамеренных каскадных эффектов от традиционного редактирования нейронов, позволяя LLM более эффективно опираться на контекстуальные доказательства без ущерба для общих способностей.