Se ha publicado una vista previa de investigación de ThetaScan v0.1, un mezclador de tokens no lineal de estado fijo, como implementación de código abierto. La arquitectura garantiza que cada token calcule su escritura de memoria a partir de la entrada actual y los parámetros compartidos en lugar de un estado rápido en evolución, permitiendo que las escrituras se compongan mediante un escaneo de prefijo asociativo.
El repositorio público incluye varios componentes clave: ThetaScan-GN para actualizaciones de pesos rápidos de Jacobiano local o Gauss–Newton, y ThetaScan-Kernel para memoria de numerador/masa de características positivas normalizadas. La implementación admite varias transformaciones de características del kernel como ReLU², ReLU² con umbral, SiLU y SwiGLU, junto con lecturas normalizadas, bancos EMA/recencia y expansión de características aleatorias determinista.
Los resultados preliminares de un experimento con un modelo de lenguaje de 17M coincidido en parámetros y una sola semilla en el paso 7.500 muestran que el mezclador expandido GN logró un BPB (bits por byte) crudo de 1.2327 y un BPB exacto-int8 de 1.23831. Estas mediciones iniciales no se afirman como estadísticamente superiores debido a las diferencias en las políticas del optimizador y al uso de un evaluador de referencia cuadrático en lugar de una implementación de escalado lineal fusionada.
Los autores acogen con beneplácito réplicas con múltiples semillas, revisión adversarial del álgebra de escritura/lectura, comparaciones con optimizadores unificados y pruebas de fallo de contexto largo para validar aún más el enfoque.