固定状態の非線形トークンミキサーであるThetaScan v0.1の研究プレビューが、オープンソース実装として公開されました。このアーキテクチャは、各トークンが進化する高速状態ではなく、現在の入力と共有パラメータからメモリの書き込みを計算することを保証し、結合性接頭辞スキャンを通じて書き込みを合成できるようにしています。

公開リポジトリにはいくつかの主要なコンポーネントが含まれています：局所ヤコビ行列またはガウス-ニュートン高速重み更新用のThetaScan-GNと、正規化された正の特徴量分子/質量メモリ用のThetaScan-Kernelです。実装は、ReLU²、閾値付きReLU²、SiLU、SwiGLUなどの様々なカーネル特徴マップ、正規化された読み込み、EMA/最近性バンク、および決定論的ランダム特徴展開をサポートしています。

ステップ7,500における単一シード、パラメータ一致の17M言語モデル実験からの予備結果によると、GN拡張2倍ミキサーは1.2327の生バイト毎ビット（BPB）と1.23831の正確なint8 BPBを達成しました。これらの初期測定値は、オプティマイザポリシーの違いや、融合された線形スケーリング実装ではなく二次参照評価器を使用しているため、統計的に優れているとは主張されていません。

著者は、このアプローチをさらに検証するために、複数シードの再現、書き込み/読み込み代数に対する敵対的レビュー、統一オプティマイザ比較、および長文脈の失敗テストを歓迎しています。