Un estudio de ablación en OLMo-core comparó integrar Engram en un Transformer estándar frente a una columna vertebral híbrida de 3 GDN-layer + 1 attention-layer. El análisis reveló que corregir los fallos de indexación por desbordamiento con signo y por ID de token relleno redujo sustancialmente la brecha de rendimiento entre las dos arquitecturas.
- Transformer + Engram logró una pérdida de entropía cruzada y perplejidad ligeramente menores que el híbrido.
- El híbrido procesó más tokens por segundo pero sufrió de gradientes más irregulares y menor MFU debido a restricciones del compilador en la dimensión del modelo.
- Corregir los fallos de indexación y mover tensores estáticos a buffers registrados redujo la pérdida para ambas columnas vertebrales.
- La memoria GPU permaneció plana para ambas ejecuciones a pesar de las intentos elevados de reintentos de asignación CUDA en el híbrido.
Los resultados indican que las diferencias iniciales de rendimiento fueron en parte artefactos de ejecución en lugar de ventajas arquitectónicas inherentes, destacando la importancia de las restricciones de ingeniería como el rendimiento y la compatibilidad del compilador en la investigación.