Pratinjau penelitian ThetaScan v0.1, sebuah pencampur token nonlinier keadaan tetap, telah dirilis sebagai implementasi sumber terbuka. Arsitektur memastikan bahwa setiap token menghitung penulisan memorinya dari input saat ini dan parameter bersama daripada keadaan cepat yang berkembang, memungkinkan penulisan tersusun melalui pemindaian awalan asosiatif.
Repositori publik mencakup beberapa komponen kunci: ThetaScan-GN untuk pembaruan bobot cepat Jacobian atau Gauss–Newton lokal, dan ThetaScan-Kernel untuk memori pembuat/massa fitur positif ternormalisasi. Implementasi ini mendukung berbagai peta fitur kernel seperti ReLU², thresholded ReLU², SiLU, dan SwiGLU, bersama dengan pembacaan ternormalisasi, bank EMA/kebaruan, dan ekspansi fitur acak deterministik.
Hasil awal dari eksperimen model bahasa 17M yang dicocokkan parameternya pada satu benih di langkah 7.500 menunjukkan bahwa pencampur 2× GN yang diperluas mencapai raw bits per byte (BPB) sebesar 1.2327 dan exact-int8 BPB sebesar 1.23831. Pengukuran awal ini tidak diklaim secara statistik lebih unggul karena perbedaan kebijakan pengoptimal dan penggunaan evaluator referensi kuadratik daripada implementasi penskalaan linear terpadu.
Para penulis menyambut replikasi multi-benih, tinjauan adversarial terhadap aljabar tulis/baca, perbandingan pengoptimal bersatu, dan uji kegagalan konteks panjang untuk lebih memvalidasi pendekatan ini.