OLMo-core में एक एब्लेशन अध्ययन ने मानक Transformer पर Engram को एकीकृत करने की तुलना 3 GDN-layer + 1 attention-layer हाइब्रिड बैकबोन के साथ की। विश्लेषण से पता चला कि साइन ओवरफ्लो और पैडेड टोकन ID इंडेक्सिंग विफलताओं को ठीक करने से दो आर्किटेक्चर के बीच प्रदर्शन गैप काफी संकर हो गया।
- Transformer + Engram ने हाइब्रिड की तुलना में थोड़ा कम क्रॉस-एंट्रापी नुकसान और परप्लेक्सिटी प्राप्त की।
- हाइब्रिड ने प्रति सेकंड अधिक टोकन प्रोसेस किए, लेकिन मॉडल आयाम पर कंपाइलर बाधाओं के कारण ग्रेडिएंट्स अधिक खंडित थे और MFU कम था।
- इंडेक्सिंग विफलताओं को ठीक करने और स्थिर टेन्सर को रजिस्टर्ड बफर्स में ले जाने से दोनों बैकबोन के लिए नुकसान कम हो गया।
- हाइब्रिड में बढ़े CUDA आवंटन पुनः प्रयासों के बावजूद, दोनों रन के लिए GPU मेमोरी समान रही।
परिणाम संकेत करते हैं कि प्रारंभिक प्रदर्शन अंतर आंशिक रूप से निष्पादन कलाकृतियाँ थीं, न कि स्वभाविक आर्किटेक्चरल लाभ, शोध में थ्रूपुट और कंपाइलर संगतता जैसे इंजीनियरिंग बाधाओं के महत्व को उजागर करते हुए।