Seorang peneliti independen telah merilis prapublikasi yang merinci transformer bergaya DeepSeek dengan 3,08 juta parameter yang menggunakan bank memori bobot cepat terlatih untuk memasang dan menerapkan aturan yang tidak pernah dilatih selama inferensi tanpa memerlukan proses mundur (backward pass). Model ini menulis keluaran lompatan maju (forward pass) sendiri ke dalam bank vektor 8-slot, yang kemudian dibaca sebagai bobot melalui hypernetwork, memungkinkan pembelajaran berkelanjutan saat inferensi tanpa pelatihan pada waktu uji (TTT), pengoptimal, atau konteks yang berkembang. Temuan utama meliputi:
- Satu presentasi 13-token berhasil memasang aturan yang tidak pernah dilatih dengan akurasi 0,79–1,00 pada pertanyaan tak terlihat, bertahan dari eviksi slot dan memungkinkan penggantian di tengah percakapan tanpa sisa aturan lama.
- Pelatihan pada waktu uji cocok untuk contoh adaptasi (0,99) tetapi tidak mentransfer apa pun ke pertanyaan tak terlihat dengan biaya 138 kali lipat per pembaruan aturan, sementara pembelajaran konteks dalam jendela tetap pada tingkat acak.
- Kebijakan memori ditentukan oleh distribusi pelatihan; mengacak struktur percakapan selama pelatihan memasang perilaku simpan/timpa/tulis saat kotor yang diperlukan, sedangkan struktur tetap menyebabkan perseverasi total.
Pekerjaan ini menyoroti bahwa memutus sirkuit baca/tulis memerlukan teknik pelatihan spesifik seperti bootstrap dipaksa guru dan annealing, karena gradien bersama memiliki titik tetap abaikan-bank. Semua eksperimen, termasuk tiga sesi pelatihan 5 jam pada satu RTX 3090, sepenuhnya dapat direproduksi melalui kode dan DOI Zenodo yang disediakan.