Un investigador independiente ha publicado una preimpresión que detalla un transformador estilo DeepSeek de 3.08M parámetros que utiliza un banco de memoria de pesos rápidos entrenado para instalar y aplicar reglas nunca entrenadas durante la inferencia sin ninguna pasada hacia atrás. El modelo escribe sus propias salidas de la pasada hacia adelante en un banco de vectores de 8 ranuras, que luego se lee como pesos mediante una hiperred, permitiendo el aprendizaje continuo en tiempo de inferencia sin entrenamiento en tiempo de prueba (TTT), optimizadores ni contexto creciente. Los hallazgos clave incluyen:
- Una única presentación de 13 tokens instala una regla nunca entrenada con una precisión de 0.79–1.00 en consultas no vistas, resistiendo la evicción de ranuras y permitiendo la sustitución durante la conversación con cero persistencia de la regla antigua.
- El entrenamiento en tiempo de prueba ajusta los ejemplos de adaptación (0.99) pero no transfiere absolutamente nada a consultas no vistas con un costo 138 veces mayor por actualización de regla, mientras que el aprendizaje in-context dentro de la ventana se mantiene al azar.
- La política de memoria está determinada por la distribución de entrenamiento; aleatorizar la estructura de la conversación durante el entrenamiento instala el comportamiento necesario de mantener/sobrescribir/escribir en suciedad, mientras que las estructuras fijas causan perseveración total.
El trabajo destaca que romper el circuito de lectura/escritura requiere técnicas de entrenamiento específicas como bootstrap forzado por maestro y enfriamiento, ya que el gradiente conjunto tiene un punto fijo de ignorar el banco. Todos los experimentos, incluidas tres ejecuciones de entrenamiento de 5 horas en una sola RTX 3090, son completamente reproducibles mediante el código proporcionado y el DOI de Zenodo.