शोधकर्ताओं ने MemOps पेश किया, एक बेंचमार्क जो संवादात्मक मेमोरी को अंतिम-उत्तर सटीकता पर निर्भर रहने के बजाय जीवन चक्र ऑपरेशन की एक श्रृंखला के रूप में पुनर्परिभाषित करता है। फ्रेमवर्क प्रत्येक मेमोरी इवेंट को एक संरचित ट्रैस के साथ दर्शाता है जो ट्रिगर, लक्ष्यों और स्थिति संक्रमण को निर्दिष्ट करता है ताकि विफलता के विषम कारणों को अलग किया जा सके।
- MemOps नियंत्रित जनरेट पाइपलाइन का उपयोग करके लंबी, कार्य-उन्मुख बातचीत में याद रखना, भूलना और अपडेट करना जैसे ऑपरेशन एम्बेड करता है।
- यह आसन्न-साक्ष्य और लंबे-संदर्भ सेटिंग्स के तहत मूल्यांकन की गई छह श्रेणियों के ऑपरेशन-स्तरीय प्रोब के साथ स्वर्ण ऑपरेशन ट्रैस उत्पन्न करता है।
- बेंचमार्क यह दर्शाता है कि मौजूदा सिस्टम में सत्र-स्तरीय पुनर्प्राप्ति टर्न-स्तरीय पुनर्प्राप्ति से बेहतर प्रदर्शन करती है।
- लंबे-संदर्भ मॉडल मेमोरी-स्थिति ट्रैजेक्ट्री को क्रमित रूप से पुनर्निर्माण करने में उल्लेखनीय रूप से कमजोर बने हुए हैं।
यह दृष्टिकोण दीर्घकालिक मेमोरी मूल्यांकन को ब्लैक-बॉक्स स्कोरिंग से व्याख्या योग्य, ऑपरेशन-स्तरीय निदान की ओर ले जाता है ताकि विश्वसनीयता का बेहतर मूल्यांकन किया जा सके।