ELIZA चैटबॉट का एक नया कार्यान्वयन संवादन प्रविष्टियों को एक लीन मेमोरी परत में संग्रहीत करने के लिए स्पार्स ऑटोएन्कोडर आर्किटेक्चर का उपयोग करता है, जो पारंपरिक कीवर्ड-मैचिंग विधियों में सुधार करने का प्रयास करता है। सिस्टम 32,768-न्यूरॉन मेमोरी परत के साथ एक T5 एन्कोडर-डीकोडर संरचना का उपयोग करता है, जहाँ समान प्रविष्टियाँ कंट्रास्टिव लर्निंग के माध्यम से सक्रिय होती हैं।
- मॉडल मोनोसेमांटिक न्यूरॉन्स का उपयोग करके और केवल शीर्ष-k कनेक्शन को सक्रिय करके लघुगणकीय मेमोरी स्केलिंग (log(n)) और विनाशक भूल के प्रति मजबूत प्रतिरोध प्राप्त करता है।
- 'naklecha/minecraft-question-answer-700k' डेटासेट से 10,000 QA जोड़ों पर प्रशिक्षण ने तीन घंटों में सभी प्रविष्टियों की लीन मेमोराइजेशन की अनुमति दी।
- मानक ELIZA के विपरीत जो सटीक संग्रहीत क्रम आउटपुट करता है, डीकोडर प्रतिक्रियाओं को थोड़ा संशोधित कर सकता है, हालाँकि इसे हर प्रश्न के लिए एक समान प्रविष्टि की उपस्थिति अभी भी आवश्यक है।
लेखक ने नोट किया है कि जबकि यह दृष्टिकोण गति और मेमोरी दक्षता को दर्शाता है, वर्तमान सीमाएँ इसे बड़े डेटासेट तक स्केल करने से रोकती हैं ताकि संपीड़न और भूल निवारण के दावों की पूर्ण रूप से पुष्टि की जा सके।