Un chercheur indépendant a publié une prépublication détaillant un transformateur de style DeepSeek à 3,08 millions de paramètres qui utilise une banque de mémoire à poids rapides entraînée pour installer et appliquer des règles jamais entraînées pendant l'inférence, sans aucun passage arrière. Le modèle écrit ses propres sorties de passage avant dans une banque de vecteurs à 8 emplacements, qui est ensuite lue comme des poids via un hypernetwork, permettant un apprentissage continu lors de l'inférence sans entraînement au moment du test (TTT), d'optimiseurs ni de contexte croissant. Les résultats clés incluent :
- Une seule présentation de 13 tokens installe une règle jamais entraînée avec une précision de 0,79 à 1,00 sur des requêtes invisibles, survivant à l'éviction des emplacements et permettant un remplacement en milieu de conversation sans persistance de l'ancienne règle.
- L'entraînement au moment du test s'adapte aux exemples d'adaptation (0,99) mais ne transfère absolument rien aux requêtes invisibles pour un coût par mise à jour de règle 138 fois supérieur, tandis que l'apprentissage in-contexte dans la fenêtre reste au niveau du hasard.
- La politique de mémoire est déterminée par la distribution d'entraînement ; la randomisation de la structure des conversations pendant l'entraînement installe le comportement de conservation/surcharge/écriture sale nécessaire, tandis que les structures fixes causent une persévération totale.
Le travail met en évidence que briser le circuit de lecture/écriture nécessite des techniques d'entraînement spécifiques comme l'amorçage forcé par l'enseignant et l'annealing, car le gradient conjoint possède un point fixe ignorant la banque. Toutes les expériences, y compris trois exécutions d'entraînement de 5 heures sur une seule RTX 3090, sont entièrement reproductibles via le code fourni et le DOI Zenodo.