OLMo-core中的一项消融研究比较了在标准Transformer上集成Engram与在3 GDN-layer + 1 attention-layer混合骨干网络上集成的效果。分析显示，修复符号溢出和填充标记ID索引失败显著缩小了两种架构之间的性能差距。
- Transformer + Engram的交叉熵损失和困惑度略低于混合模型。
- 混合模型每秒处理更多标记，但由于编译器对模型维度的限制，梯度更不平稳且MFU较低。
- 修复索引故障并将静态张量移动到注册缓冲区降低了两种骨干网络的损失。
- 尽管混合模型中CUDA分配重试次数增加，但两次运行的GPU内存保持平稳。
结果表明，初始性能差异部分是由于执行伪影而非固有的架构优势，突出了研究中吞吐量等工程约束和编译器兼容性的重要性。