Независимый исследователь опубликовал препринт, описывающий трансформер в стиле DeepSeek с 3,08 млн параметров, который использует обученный банк быстрых весов для внедрения и применения никогда не обученных правил во время вывода без какого-либо обратного распространения. Модель записывает собственные выходы прямого прохода в банк векторов из 8 слотов, который затем считывается как веса через гиперсеть, что обеспечивает непрерывное обучение во время вывода без тестового обучения (TTT), оптимизаторов или расширения контекста. Ключевые результаты включают:
- Одно представление длиной в 13 токенов внедряет никогда не обученное правило с точностью 0,79–1,00 на невидимых запросах, выдерживая вытеснение слотов и позволяя замену посреди разговора без сохранения старого правила.
- Тестовое обучение адаптирует примеры (0,99), но не переносит ничего на невидимые запросы при стоимости в 138 раз выше за обновление правила, тогда как внутриоконное контекстное обучение остаётся на уровне случайного угадывания.
- Политика памяти определяется распределением обучения; рандомизация структуры разговора во время обучения внедряет необходимое поведение сохранения/перезаписи/записи при изменении, тогда как фиксированные структуры вызывают тотальное персистирование.
Работа показывает, что для нарушения контура чтения/записи требуются специфические техники обучения, такие как форсированное обучение учителем и аннеалинг, поскольку совместный градиент имеет фиксированную точку «игнорировать банк». Все эксперименты, включая три 5-часовых запуска обучения на одном RTX 3090, полностью воспроизводимы через предоставленный код и DOI Zenodo.