Исследователи предлагают иерархический разреженный механизм HiLS (Hierarchical Landmark Sparse) Attention, который обучает выбор чанков сквозным образом под функцией потерь языкового моделирования для решения проблемы квадратичной стоимости и плохой экстраполяции по длине у плотного внимания.

  • HiLS иерархически факторизует внимание, позволяя каждому запросу независимо извлекать информацию, специфичную для чанка, перед объединением результатов на основе оценок поиска.
  • Метод напрямую оптимизирует оценки поиска с помощью функции потерь LM, что позволяет проводить нативное разреженное обучение без неточного выбора чанков.
  • HiLS-Attention экстраполирует более чем в 64 раза длину обучающего контекста при точности поиска 90%, превосходя полное внимание в задачах с длинным контекстом.
  • Существующие модели с полным вниманием можно преобразовать в HiLS-Attention с помощью легковесного дообучения, сохраняя производительность в целевой области и приобретая возможности работы с ультрадлинным контекстом.

HiLS-Attention преодолевает типичный компромисс между эффективностью и качеством за счет сочетания разреженного доступа к KV с превосходной экстраполяцией, позволяя создавать LLM с длинным контекстом, которые более эффективны и результативны по сравнению с моделями полного внимания.