Um estudo de ablação no OLMo-core comparou integrar o Engram em um Transformer padrão versus uma espinha dorsal híbrida de 3 GDN-layer + 1 attention-layer. A análise revelou que corrigir falhas de indexação por estouro com sinal e por ID de token preenchido reduziu substancialmente a lacuna de desempenho entre as duas arquiteturas.
- Transformer + Engram alcançou perda de entropia cruzada e perplexidade ligeiramente menores do que o híbrido.
- O híbrido processou mais tokens por segundo, mas sofreu com gradientes mais irregulares e MFU menor devido a restrições do compilador na dimensão do modelo.
- Corrigir falhas de indexação e mover tensores estáticos para buffers registrados reduziu a perda para ambas as espinhas dorsais.
- A memória da GPU permaneceu plana para ambas as execuções, apesar das tentativas elevadas de retentiva de alocação CUDA no híbrido.
Os resultados indicam que as diferenças iniciais de desempenho foram em parte artefatos de execução, em vez de vantagens arquitetônicas inerentes, destacando a importância de restrições de engenharia como throughput e compatibilidade do compilador na pesquisa.