قام مطور إطار العمل المحلي للذكاء الاصطناعي OpenFox بتنفيذ ميزة تُسمى "تسخين ذاكرة التخزين المؤقت التكهني" تعالج فيها موجه النظام ومصفوفة الأدوات أثناء كتابة المستخدم لإدخاله. يسمح هذا التحسين للنموذج ببدء معالجة بيانات السياق الثابت قبل إرسال الموجه الفعلي، مما يقلل بشكل فعال من زمن الاستجابة الذي يُلاحظ عند بدء جلسة جديدة.
- يتم معالجة موجه النظام (الذي يحتوي على AGENTS.md والتفضيلات) ومصفوفة الأدوات في الخلفية أثناء الكتابة.
- عندما يرسل المستخدم الموجه، يحتاج فقط إلى معالجة نص الموجه المتبقي بواسطة نموذج اللغة الكبير (LLM).
- بسرعة معالجة تبلغ 500 رمز في الثانية، توفر هذه الطريقة حوالي 10 إلى 20 ثانية من وقت الانتظار.
يجعل هذا التغيير التفاعل مع نماذج اللغة الكبيرة المحلية أكثر استجابة ويقلل من وقت الخمول المرتبط عادةً بتهيئة جلسة جديدة.