Исследователи предлагают Ассоциативный Рекуррентный Трансформер с Памятью (ARMT) для обеспечения обработки длинного контекста в больших языковых моделях при одновременном достижении постоянного масштабирования памяти и повышенной эффективности.

  • Работа представляет два специализированных набора данных для оценки реалистичных сценариев тонкой настройки узкоспециализированных доменов.
  • Предоставлен комплексный рецепт обучения, сочетающий продолжение предобучения, генерацию синтетических данных, обучение по программе и селективную интеграцию ассоциативной памяти в определенные слои модели.
  • Модели с дополнением ARMT эффективно обрабатывают входные данные далеко за пределами исходных ограничений контекста без ухудшения производительности по сравнению с базовыми моделями в пределах лимита.
  • Подход более эффективно обобщается на длины контекста вне распределения (out-of-distribution).
  • Моделям требуется на 30% меньше FLOPs при сохранении базовой производительности в исходном окне контекста.

Этот метод позволяет LLM эффективно обрабатывать более длинные входные данные, решая проблемы квадратичного вычислительного масштаба и линейного масштабирования памяти стандартных трансформеров.