تم إصدار معاينة بحثية لـ ThetaScan v0.1، وهو خلاط رموز غير خطي بحالة ثابتة، كتنفيذ مفتوح المصدر. تضمن الهندسة المعمارية أن يحسب كل رمز كتابة ذاكرته من الإدخال الحالي والمعلمات المشتركة بدلاً من حالة سريعة متطورة، مما يسمح بتأليف الكتابات عبر مسح بادئة تجميعي.
يتضمن المستودع العام عدة مكونات رئيسية: ThetaScan-GN لتحديثات الأوزان السريعة لجاكوبي المحلي أو غاوس-نيوتن، وThetaScan-Kernel للذاكرة ذات البسط/الكتلة الموجبة المعيارية. يدعم التنفيذ خرائط ميزات نواة متنوعة مثل ReLU²، وReLU² ذو العتبة، وSiLU، وSwiGLU، بالإضافة إلى قراءات معيارية، وبنوك EMA/الحداثة، وتوسيع الميزات العشوائية الحتمي.
أظهرت النتائج الأولية من تجربة نموذج لغوي 17M متطابقة المعلمات وببذرة واحدة عند الخطوة 7,500 أن خلاط GN الموسع 2× حقق معدل بت خام لكل بايت (BPB) يبلغ 1.2327 ومعدل BPB دقيق بـ int8 يبلغ 1.23831. لا يُزعم أن هذه القياسات المبكرة تفوق إحصائياً بسبب اختلاف سياسات المُحسّن واستخدام مُقيّم مرجعي تربيعي بدلاً من تنفيذ خطي متراكم مدمج.
يرحب المؤلفون بتكرارات متعددة البذور، ومراجعة معادية للجبر للكتابة/القراءة، ومقارنات مُحسّن موحد، واختبارات فشل السياق الطويل لمزيد من التحقق من صحة النهج.