Um pesquisador independente publicou um preprint detalhando um transformer estilo DeepSeek com 3,08M de parâmetros que utiliza um banco de memória fast-weight treinado para instalar e aplicar regras nunca treinadas durante a inferência, sem qualquer retropropagação. O modelo grava suas próprias saídas do forward pass em um banco vetorial de 8 slots, que é então lido como pesos por meio de uma hypernetwork, permitindo aprendizado contínuo na fase de inferência sem treinamento no momento do teste (TTT), otimizadores ou contexto crescente. Principais descobertas incluem:
- Uma única apresentação de 13 tokens instala uma regra nunca treinada com acurácia de 0,79–1,00 em consultas não vistas, sobrevivendo à evicção de slots e permitindo substituição no meio da conversa com zero persistência da regra antiga.
- O treinamento no momento do teste ajusta exemplos de adaptação (0,99), mas não transfere absolutamente nada para consultas não vistas, custando 138 vezes mais por atualização de regra, enquanto o aprendizado in-context dentro da janela permanece no acaso.
- A política de memória é determinada pela distribuição de treinamento; randomizar a estrutura da conversa durante o treinamento instala o comportamento necessário de manter/sobrescrever/escrever em dirty, enquanto estruturas fixas causam perseveração total.
O trabalho destaca que quebrar o circuito de leitura/escrita requer técnicas específicas de treinamento como bootstrap forçado pelo professor e annealing, pois o gradiente conjunto possui um ponto fixo de ignorar o banco. Todos os experimentos, incluindo três execuções de treinamento de 5 horas em uma única RTX 3090, são totalmente reproduzíveis por meio do código fornecido e DOI do Zenodo.