Исследование абляции в OLMo-core сравнивало интеграцию Engram со стандартным Transformer и гибридным бэкбондом 3 GDN-layer + 1 attention-layer. Анализ показал, что исправление переполнения знаковых значений и сбоев индексации ID заполненных токенов существенно сузило разрыв в производительности между двумя архитектурами.

  • Transformer + Engram достиг немного меньшей кросс-энтропии и перплексии, чем гибридный вариант.
  • Гибридная модель обрабатывала больше токенов в секунду, но страдала от более рваных градиентов и низкой MFU из-за ограничений компилятора по измерению модели.
  • Исправление сбоев индексации и перемещение статических тензоров в зарегистрированные буферы снизили потерю для обоих бэкбонов.
  • Память GPU оставалась стабильной для обоих запусков, несмотря на повышенные повторные попытки выделения CUDA в гибридной модели.

Результаты указывают на то, что начальные различия в производительности были частично артефактами выполнения, а не присущими архитектурными преимуществами, подчеркивая важность инженерных ограничений, таких как пропускная способность и совместимость с компилятором, в исследованиях.