独立した研究者が、逆伝播なしで推論中に未学習のルールをインストールして適用するために、訓練済みの高速重みメモリバンクを使用する3.08MパラメータのDeepSeekスタイルのトランスフォーマーに関するプレプリントを公開した。 モデルは自身の順伝播の出力を8スロットのベクトルバンクに書き込み、それをハイパーネットワークを通じて重みとして読み取ることで、テスト時トレーニング（TTT）、オプティマイザ、または増大するコンテキストなしで推論時に継続的学習を可能にする。 主な発見は以下の通り：

  • 13トークンの提示により、未学習のルールが0.79–1.00の精度で未見のクエリにインストールされ、スロットの eviction を生き残り、会話中の置き換えが可能で、古いルールの残留はゼロ。
  • テスト時トレーニングは適応例（0.99）には適合するが、ルール更新あたりのコストが138倍になる中で未見のクエリへの転移は全くなく、ウィンドウ内でのコンテキスト学習は偶然レベルにとどまる。
  • メモリポリシーは訓練分布によって決定される；訓練中に会話構造をランダム化することで必要な保持/上書き/ダーティ時の書き込み動作がインストールされるが、固定された構造では完全な固執（perseveration）を引き起こす。

本研究は、結合勾配にバンクを無視する固定点があるため、読み書き回路を破るには教師強制ブートストラップや annealing といった特定の訓練技術が必要であることを示している。 RTX 3090 1台での5時間の訓練ラン3回を含むすべての実験は、提供されたコードと Zenodo DOI により完全に再現可能。