एक शोधकर्ता Simple Retrieval-Reconstruction Memory (SRRM) पेश करने वाले एक पेपर के लिए arXiv cs.CL की स्वीकृति चाहते हैं, जो Small Language Models में लंबे संदर्भ मेमोरी का मूल्यांकन करने के लिए डिज़ाइन किया गया एक हल्का बेंचमार्क है।
अस्तित्व में रहे retrieval-उन्मुख बेंचमार्क्स के विपरीत, SRRM लक्षित पुनर्प्राप्ति, वैश्विक जानकारी पुनर्निर्माण और Memory Preservation Ratio (MPR) नामक एक नए मीट्रिक्स का संयुक्त रूप से मूल्यांकन करता है। लेखकों ने 10–100 तथ्यात्मक कथनों के संदर्भ भार के तहत Qwen2.5 मॉडल परिवार (0.5B, 1.5B और 3B) का परीक्षण किया।
परिणामों ने दिखाया कि Qwen2.5-1.5B मॉडल पुनर्प्राप्ति सटीकता, पुनर्निर्माण प्रदर्शन और MPR में बड़े 3B मॉडल को लगातार हराता रहा, जो संकेत देता है कि पैरामीटर गिनती अकेले लंबे संदर्भ मेमोरी संरक्षण को बेहतर नहीं बनाती।