Une étude d'ablation dans OLMo-core a comparé l'intégration d'Engram sur un Transformer standard par rapport à une colonne vertébrale hybride de 3 couches GDN + 1 couche d'attention. L'analyse a révélé que la correction des dépassements de capacité signés et des échecs d'indexation des ID de tokens rembourrés a considérablement réduit l'écart de performance entre les deux architectures.
- Transformer + Engram a obtenu une perte d'entropie croisée et une perplexité légèrement inférieures à celles de l'hybride.
- L'hybride a traité plus de tokens par seconde mais a souffert de gradients plus irréguliers et d'une MFU plus faible en raison des contraintes du compilateur sur la dimension du modèle.
- La correction des échecs d'indexation et le déplacement des tenseurs statiques dans des tampons enregistrés ont réduit la perte pour les deux colonnes vertébrales.
- La mémoire GPU est restée stable pour les deux exécutions malgré un nombre élevé de tentatives de réattribution CUDA dans l'hybride.
Les résultats indiquent que les différences de performance initiales étaient en partie des artefacts d'exécution plutôt que des avantages architecturaux inhérents, soulignant l'importance des contraintes d'ingénierie telles que le débit et la compatibilité du compilateur dans la recherche.