Исследователь предлагает WideNDepth (WND), нейронную архитектуру, которая разделяет хранение знаний и процесс рассуждения. Архитектура использует Широкий слой (Wide Layer) и Кодировщик (Encoder) для генерации богатых представлений, сохраняемых в Банке признаков (Feature Bank), тогда как отдельный Глубокий слой (Depth Layer) выполняет итеративное рассуждение через сжатые состояния.

  • Широкий слой содержит более богатую информацию, которая обрабатывается Кодировщиком для формирования представления, сохраняемого в Банке признаков.
  • Компрессор (Compressor) уменьшает это представление до меньшего состояния для Глубокого слоя.
  • Глубокий слой выполняет пошаговое рассуждение над сжатым состоянием, используя поиск на основе внимания для доступа к Банку признаков при необходимости.
  • На задачах графового рассуждения, включающих длинные цепочки и среднюю сложность, модель WND с ~100K параметров превосходит базовую модель Transformer с ~600K параметров по производительности, скорости обучения, эффективности выборки и занимаемому объему.

Автор отмечает, что Широкий слой и Кодировщик в настоящее время доминируют в рабочей нагрузке, оставляя Глубокий слой недостаточно загруженным, и ищет методы ограничения этих компонентов, чтобы они фокусировались исключительно на генерации полезной информации для слоя рассуждений.