Sebuah studi ablasi di OLMo-core membandingkan integrasi Engram ke dalam Transformer standar versus backbone hibrida 3 lapisan GDN + 1 lapisan perhatian. Analisis mengungkapkan bahwa memperbaiki kegagalan overflow bertanda dan pengindeksan ID token yang dipadatkan secara substansial mengurangi kesenjangan kinerja antara kedua arsitektur.
- Transformer + Engram mencapai loss entropi silang dan perplexity yang sedikit lebih rendah dibandingkan hibrida.
- Hibrida memproses lebih banyak token per detik tetapi mengalami gradien yang lebih tidak stabil dan MFU yang lebih rendah karena batasan kompiler pada dimensi model.
- Memperbaiki kegagalan pengindeksan dan memindahkan tensor statis ke buffer terdaftar menurunkan loss untuk kedua backbone.
- Memori GPU tetap datar untuk kedua jaluran meskipun ada peningkatan upaya alokasi ulang CUDA di hibrida.
Hasilnya menunjukkan bahwa perbedaan kinerja awal sebagian besar merupakan artefak eksekusi daripada keunggulan arsitektur bawaan, menyoroti pentingnya batasan rekayasa seperti throughput dan kompatibilitas kompiler dalam penelitian.