Опубликована исследовательская превью-версия ThetaScan v0.1, механизма смешивания токенов с фиксированным состоянием и нелинейностью, в виде реализации с открытым исходным кодом. Архитектура гарантирует, что каждый токен вычисляет запись в память на основе текущего входа и общих параметров, а не эволюционирующего быстрого состояния, что позволяет записям комбинироваться через ассоциативный префиксный скан.
Публичный репозиторий включает несколько ключевых компонентов: ThetaScan-GN для локальных обновлений быстрых весов Якоби или Гаусса-Ньютона и ThetaScan-Kernel для памяти с нормализованным положительным признаковым числителем/массой. Реализация поддерживает различные отображения признаков ядра, такие как ReLU², пороговый ReLU², SiLU и SwiGLU, а также нормализованные чтения, банки EMA/свежести и детерминированное расширение случайных признаков.
Предварительные результаты эксперимента с языковой моделью на 17M параметров, запущенного с одним сидом и сопоставленного по количеству параметров, на шаге 7500 показывают, что расширенный в 2 раза механизм смешивания GN достиг сырой метрики бит на байт (BPB) 1.2327 и точной BPB для int8 равной 1.23831. Эти ранние измерения не претензуют на статистическое превосходство из-за различий в политиках оптимизаторов и использования квадратичного оценщика эталона вместо слитной реализации линейного масштабирования.
Авторы приветствуют репликации с несколькими сидами, состязательный обзор алгебры записи/чтения, сравнения с единым оптимизатором и тесты на отказ в длинном контексте для дальнейшего подтверждения подхода.