शोधकर्ताओं ने LLM एजेंट्स के लिए एक अनुमानित निष्पादन विधि पेश की है जो स्पेकुलेटर को तीन ऑनलाइन मेमोरी सिस्टम से लैस करती है ताकि वह पिछली ट्रेजेक्ट्रीज़ से सीख सके, मौजूदा स्टेटलेस स्पेकुलेटर्स की सीमा को दूर करते हुए। यह दृष्टिकोण समय के साथ भविष्यवाणी की गुणवत्ता में सुधार करने के लिए एक कंट्रास्टिव ट्रांजिशन टेबल, एपिसोडिक मेमोरी और एक कन्फ्यूजन ट्रैकर का उपयोग करता है।
- मेमोरी-संवर्धित स्पेकुलेशन ने एक्शन भविष्यवाणी बेंचमार्क्स पर 19--39% सापेक्ष सटीकता में सुधार दिया है।
- अवलोकन भविष्यवाणी कार्यों में दोहराए गए एक्शन स्पेस के साथ प्रदर्शन में 2.5x तक की वृद्धि देखी गई है।
- लाभ मेमोरी के जमा होने के साथ निरंतर बढ़ते हैं और विभिन्न लागत वाले स्पेकुलेटर मॉडल्स पर सामान्यीकृत होते हैं।
- सभी स्पेकुलेशन निष्क्रिय समय के दौरान चलते हैं, जिससे कोई अतिरिक्त वॉल-क्लॉक लागत नहीं होती और एक्टर ट्रेजेक्ट्रीज़ समान रहती हैं।
यह विधि ऐतिहासिक डेटा का लाभ उठाकर भविष्यवाणी सटीकता को बढ़ावा देते हुए निष्पादन गति या सहीपन पर प्रभाव डाले बिना LLM एजेंट्स के लिए हानिरहित त्वरण प्रदान करती है।