Авторы предлагают MATCH, фреймворк, который дополняет механизмы разреженного внимания динамически интегрированной контекстной информацией для решения проблем масштабируемости традиционного внимания в задачах с длинным контекстом.
- Решает проблему квадратичной вычислительной стоимости и снижения производительности, связанных с жёсткими структурными ограничениями, такими как локальные окна внимания.
- Интегрирует эффективную систему поиска для динамического включения контекстной информации в архитектуры разреженного внимания.
- Демонстрирует значительное улучшение производительности как на синтетических, так и на реальных задачах обработки естественного языка, требующих точного запоминания дальних зависимостей.
MATCH представляет собой универсальный подход к улучшению возможностей контекстно-зависимого поиска при сохранении преимуществ в эффективности разреженных моделей внимания.