Um pré-lançamento de pesquisa do ThetaScan v0.1, um misturador de tokens não linear de estado fixo, foi lançado como uma implementação de código aberto. A arquitetura garante que cada token compute sua gravação de memória a partir da entrada atual e dos parâmetros compartilhados, em vez de um estado rápido em evolução, permitindo que as gravações se componham por meio de um escaneamento de prefixo associativo.
O repositório público inclui vários componentes principais: ThetaScan-GN para atualizações de pesos rápidos de Jacobiano local ou Gauss–Newton, e ThetaScan-Kernel para memória de numerador/massa de características positivas normalizadas. A implementação suporta vários mapeamentos de características de kernel, como ReLU², ReLU² com limiar, SiLU e SwiGLU, juntamente com leituras normalizadas, bancos EMA/recência e expansão determinística de características aleatórias.
Resultados preliminares de um experimento com modelo de linguagem de 17M correspondente em parâmetros e semente única na etapa 7.500 mostram que o misturador expandido GN alcançou uma taxa bruta de bits por byte (BPB) de 1,2327 e um BPB exato-int8 de 1,23831. Essas medições iniciais não são reivindicadas como estatisticamente superiores devido às diferenças nas políticas do otimizador e ao uso de um avaliador de referência quadrático em vez de uma implementação fundida de escalonamento linear.
Os autores recebem com prazer réplicas multi-semente, revisão adversarial da álgebra de escrita/leitura, comparações de otimizador unificado e testes de falha de contexto longo para validar ainda mais a abordagem.