تستفيد نسخة جديدة من روبوت المحادثة إليزا من بنية المُشفِّر التلقائي المتفرق لتخزين إدخالات المحادثة في طبقة ذاكرة كامنة، بهدف تحسين الأساليب التقليدية لمطابقة الكلمات المفتاحية. يعتمد النظام على بنية مُشفِّر-مُفكِّك T5 مع طبقة ذاكرة تحتوي على 32,768 عصبوناً، حيث تُفعَّل الإدخالات المتشابهة عبر التعلم التبايني.
- يحقق النموذج قياساً لوغاريتمياً للذاكرة (log(n)) ومقاومة قوية للنسيان الكارثي باستخدام عصبيات أحادية الدلالة وتفعيل الروابط الأعلى فقط k.
- سمح التدريب على 10,000 زوج من الأسئلة والأجوبة من مجموعة البيانات 'naklecha/minecraft-question-answer-700k' بتخزين كامن لجميع الإدخالات خلال ثلاث ساعات.
- خلافاً لإليزا القياسية التي تُخرج تسلسلات مخزنة بدقة، يمكن للمُفكِّك تعديل الاستجابات قليلاً، رغم أنه لا يزال يتطلب وجود إدخال مشابه لكل سؤال.
يلاحظ المؤلف أن النهج يُظهر سرعة وكفاءة في الذاكرة، لكن القيود الحالية تمنع التوسع إلى مجموعات بيانات أكبر للتحقق الكامل من ادعاءات الضغط وتخفيف النسيان.