OLMo-coreでの消融実験は、標準TransformerにEngramを統合することと、3層GDN + 1層アテンション層のハイブリッドバックボーンへの統合を比較した。分析により、符号付きオーバーフローとパディング済みトークンIDのインデックス失敗を修正することで、2つのアーキテクチャ間のパフォーマンスギャップが大幅に縮小されることが明らかになった。

  • Transformer + Engramは、ハイブリッドよりもわずかに低いクロスエントロピー損失とパープレキシティを達成した。
  • ハイブリッドは毎秒より多くのトークンを処理したが、モデル次元に関するコンパイラの制約により、勾配が不安定になりMFUが低下した。
  • インデックス失敗の修正と静的テンソルを登録済みバッファへ移動させることで、両方のバックボーンで損失が低下した。
  • ハイブリッドではCUDAアロケーションのリトライが増加したが、GPUメモリは両方のランで平坦に維持された。

結果は、初期のパフォーマンス差が実行のアーティファクトによるものであり、本質的なアーキテクチャの優位性ではないことを示しており、スループットやコンパイラ互換性といったエンジニアリング制約の研究における重要性を浮き彫りにしている。