एक फिक्स्ड-स्टेट नॉनलिनियर टोकन मिक्सर, ThetaScan v0.1 का शोध पूर्वावलोकन एक ओपन-सोर्स इम्प्लीमेंटेशन के रूप में जारी किया गया है। आर्किटेक्चर यह सुनिश्चित करता है कि प्रत्येक टोकन अपने मेमोरी राइट को वर्तमान इनपुट और शेयर्ड पैरामीटर से गणना करे, न कि एक विकसित फास्ट स्टेट से, जिससे राइट्स को एसोसिएटिव प्रीफिक्स स्कैन के माध्यम से कंपोज करने की अनुमति मिलती है।
पब्लिक रिपॉजिटरी में कई मुख्य घटक शामिल हैं: स्थानीय जैकोबियन या गॉस-न्यूटन फास्ट-वेइट अपडेट्स के लिए ThetaScan-GN, और नॉर्मलाइज्ड पॉजिटिव-फीचर न्यूमरेटर/मास मेमोरी के लिए ThetaScan-Kernel। इम्प्लीमेंटेशन ReLU², थ्रेशोल्डेड ReLU², SiLU, और SwiGLU जैसे विभिन्न किर्नल फीचर मैप्स, नॉर्मलाइज्ड रीड्स, EMA/रीसेंसी बैंक्स, और डिटर्मिनिस्टिक रैंडम फीचर एक्सपेंशन का समर्थन करता है।
7,500 स्टेप पर एक सिंगल-सीड, पैरामीटर-मैच्ड 17M लैंग्वेज मॉडल प्रयोग से प्राप्त प्राथमिक परिणाम दिखाते हैं कि GN एक्सपैंडेड 2× मिक्सर ने रॉ बिट्स पर बाइट (BPB) में 1.2327 और एक्ज़ैक्ट-int8 BPB में 1.23831 प्राप्त किया। ऑप्टिमाइजर पॉलिसी में अंतर और फ्यूज्ड लिनियर-स्केलिंग इम्प्लीमेंटेशन के बजाय एक क्वाड्रेटिक रेफरेंस इवैलुएटर का उपयोग होने के कारण, इन प्रारंभिक मापों को सांख्यिकीय रूप से श्रेष्ठ होने का दावा नहीं किया जाता है।
लेखक इस दृष्टिकोण को और अधिक वैध बनाने के लिए मल्टी-सीड रप्लिकेशन, राइट/रीड बीजगणित की एडवर्शियल समीक्षा, यूनिफाइड-ऑप्टिमाइजर तुलनाओं, और लॉन्ग-कॉन्टेक्स्ट फेल्योर टेस्ट का स्वागत करते हैं।