स्थानीय AI हार्नेस OpenFox के डेवलपर ने "अनुमानित कैश वार्मिंग" नामक एक फीचर लागू किया है जो उपयोगकर्ता के इनपुट टाइप करते समय सिस्टम प्रॉम्प्ट और टूल्स एरे को प्रोसेस करता है। यह अनुकूलन मॉडल को वास्तविक प्रॉम्प्ट सबमिट करने से पहले स्थिर संदर्भ डेटा को प्रोसेस करना शुरू करने देता है, जिससे नई सेशन शुरू करते समय अनुभव होने वाली लेटेंसी प्रभावी ढंग से कम हो जाती है।
- सिस्टम प्रॉम्प्ट (AGENTS.md और प्राथमिकताएं शामिल) और टूल्स एरे टाइपिंग के दौरान बैकग्राउंड में प्रोसेस होते हैं।
- जब उपयोगकर्ता प्रॉम्प्ट भेजता है, तो LLM को केवल शेष प्रॉम्प्ट टेक्स्ट को प्रोसेस करने की आवश्यकता होती है।
- 500 टोकन प्रति सेकंड की प्रोसेसिंग गति पर, यह विधि लगभग 10 से 20 सेकंड की प्रतीक्षा समय बचाती है।
यह बदलाव स्थानीय LLMs के साथ इंटरैक्शन को अधिक प्रतिक्रियाशील बनाता है और नई सेशन शुरू करने से जुड़ी आमतौर पर होने वाली आइडल समय को कम करता है।