يقدم الباحثون منصة MemOps، وهي منصة تقييم تعيد صياغة ذاكرة المحادثة كسلسلة من عمليات دورة الحياة بدلاً من الاعتماد فقط على دقة الإجابة النهائية. يمثل الإطار كل حدث ذاكرة بتتبع هيكلي يحدد المشغلات والأهداف وانتقالات الحالة لفصل الأسباب المتباينة للفشل.
- تدمج MemOps عمليات مثل التذكر والنسيان والتحديث في محادثات طويلة موجهة نحو المهام باستخدام خط أنابيب توليد قابل للتحكم.
- تنتج تتبعات عمليات ذهبية (gold) جنبًا إلى جنب مع ست فئات من المسبارات على مستوى العمليات يتم تقييمها تحت إعدادات الأدلة المجاورة والسياق الطويل.
- تكشف المنصة عن أن الاسترجاع على مستوى الجلسة يتفوق على الاسترجاع على مستوى الدور في الأنظمة الحالية.
- تظل نماذج السياق الطويل ضعيفة بشكل ملحوظ في إعادة بناء مسارات حالة الذاكرة المرتبة.
تنتقل هذه النهج بتقييم الذاكرة طويلة المدى من التقييم بصندوق أسود إلى تشخيص على مستوى العمليات قابل للتفسير لتقييم الموثوقية بشكل أفضل.