Ной ДеАнджелис разработал экспериментальный механизм внимания на основе маршрутизации для моделей GPT, реализованный в проекте PyTorch под названием RoutingGPT. Подход использует обучаемый линейный слой для выбора подмножества токенов в качестве ключей и значений, сохраняя все токены в качестве запросов.

  • При соотношении маршрутизации по умолчанию 25% сложность снижается с T × T для плотного внимания до T × 0.25T.
  • Цель — уменьшить вычислительную нагрузку внимания и позволить работать с более длинными контекстами на недорогом оборудовании.
  • Проект выпущен под лицензией Apache 2.0 и в настоящее время является экспериментальным без строгого бенчмаркинга.