Un aperçu de recherche de ThetaScan v0.1, un mélangeur de tokens non linéaire à état fixe, a été publié en tant qu'implémentation open-source. L'architecture garantit que chaque token calcule son écriture de mémoire à partir de l'entrée actuelle et des paramètres partagés plutôt que d'un état rapide évolutif, permettant aux écritures de composer via un balayage de préfixe associatif.
Le dépôt public comprend plusieurs composants clés : ThetaScan-GN pour les mises à jour de poids rapides de Jacobien local ou Gauss–Newton, et ThetaScan-Kernel pour la mémoire de numérateur/masse de caractéristiques positives normalisées. L'implémentation prend en charge diverses cartes de fonctionnalités de noyau telles que ReLU², ReLU² seuillé, SiLU et SwiGLU, ainsi que des lectures normalisées, des banques EMA/récence et une expansion de fonctionnalités aléatoires déterministe.
Les résultats préliminaires d'une expérience de modèle linguistique de 17M à appariement de paramètres sur une seule graine à l'étape 7 500 montrent que le mélangeur GN étendu par 2× a atteint un BPB brut (bits par octet) de 1,2327 et un BPB exact-int8 de 1,23831. Ces mesures précoces ne sont pas revendiquées comme statistiquement supérieures en raison des différences dans les politiques d'optimiseur et l'utilisation d'un évaluateur de référence quadratique plutôt que d'une implémentation linéaire fusionnée.
Les auteurs accueillent favorablement les réplications multi-graines, la revue adversariale de l'algèbre d'écriture/lecture, les comparaisons à optimiseur unifié et les tests d'échec sur contexte long pour valider davantage l'approche.