एक स्वतंत्र शोधकर्ता ने एक प्रीप्रिंट जारी किया है जिसमें 3.08M-पैरामीटर वाले DeepSeek-शैली के ट्रांसफॉर्मर का विवरण दिया गया है, जो इनफरेंस के दौरान कभी प्रशिक्षित नहीं किए गए नियमों को इंस्टॉल और लागू करने के लिए एक प्रशिक्षित फास्ट-वेइट मेमोरी बैंक का उपयोग करता है, बिना किसी बैकवर्ड पास के। मॉडल अपने फॉरवर्ड पास आउटपुट को 8-स्लॉट वेक्टर बैंक में लिखता है, जिसे हाइपरनेटवर्क के माध्यम से वेट्स के रूप में पढ़ा जाता है, जिससे टेस्ट-टाइम ट्रेनिंग (TTT), ऑप्टिमाइज़र्स या बढ़ते संदर्भ के बिना इनफरेंस समय पर निरंतर सीखने की सुविधा मिलती है। मुख्य निष्कर्ष इस प्रकार हैं:
- एकल 13-टोकन प्रस्तुति अदृश्य क्वेरीज पर 0.79–1.00 सटीकता के साथ एक कभी प्रशिक्षित नहीं किया गया नियम इंस्टॉल करती है, जो स्लॉट एविकशन को टालती है और शून्य पुराने-नियम स्थिरता के साथ मध्य-संवाद प्रतिस्थापन की अनुमति देती है।
- टेस्ट-टाइम ट्रेनिंग अनुकूलन उदाहरणों (0.99) को फिट करती है, लेकिन प्रत्येक नियम अपडेट के लिए लागत में 138x की वृद्धि के साथ अदृश्य क्वेरीज पर बिल्कुल कुछ स्थानांतरित नहीं करती है, जबकि विंडो-इन इन-कॉन्टेक्स्ट लर्निंग संयोग स्तर पर बना रहता है।
- मेमोरी पॉलिसी प्रशिक्षण वितरण द्वारा निर्धारित होती है; प्रशिक्षण के दौरान संवाद संरचना को यादृच्छिक बनाने से आवश्यक रखने/ओवरराइट/डर्टी पर लिखने की व्यवस्था इंस्टॉल होती है, जबकि स्थिर संरचनाएं पूर्ण प्रतिबद्धता का कारण बनती हैं।
यह कार्य इस बात पर प्रकाश डालता है कि रीड/राइट सर्किट को तोड़ने के लिए टीचर-फोर्स्ड बूटस्ट्रैप और एनीलिंग जैसे विशिष्ट प्रशिक्षण तकनीकों की आवश्यकता होती है, क्योंकि संयुक्त ग्रेडिएंट में बैंक को नजरअंदाज करने वाला एक फिक्स्ड पॉइंट होता है। सभी प्रयोग, जिनमें एकल RTX 3090 पर तीन 5-घंटे के प्रशिक्षण रन शामिल हैं, प्रदान की गई कोड और Zenodo DOI के माध्यम से पूरी तरह से पुनरुत्पादन योग्य हैं।