خفض مطوّر تطبيق جوال تكاليف واجهة برمجة تطبيقات LLM من أربعة أضعاف التقدير الأولي إلى ما يقارب الربع من ذلك المقدار، من خلال معالجة عدم كفاءتين رئيسيتين: إعادة إرسال كامل السجل بشكل بدائي وإدراج سياق RAG زائد.
- تسبب إعادة إرسال سجل المحادثة البدائي في نمو رموز O(n²) لأن كل دور كان يرسل قائمة الرسائل السابقة بالكامل، وهو ما يتفاقم بسبب إعادة بناء التطبيقات للجوال للحالة من ذاكرة التخزين المؤقت المحلية.
- كان سياق RAG يُعاد جلبه وإدراجه في كل دورة بغض النظر عن استقرار الموضوع، مما أدى إلى الدفع المتكرر لنفس أجزاء قاعدة المعرفة.
- هيّأ التخزين المؤقت للبرومبت (prompt caching) برومفت النظام وسياق RAG كبادئة مستقرة، محققاً انخفاضاً بنسبة 90٪ في تسعير المدخلات للأجزاء المخزنة مؤقتاً.
- يتم تلخيص سجل المحادثة الذي يتجاوز نافذة محددة بواسطة نموذج أصغر لمنع النمو التربيعي للتكلفة مع الحفاظ على استمرارية السلسلة.
- يكشف مصنف خفيف الوزن عن تحولات الموضوع لتوجيه استرجاع RAG، مما يمنع جلب الأجزاء الزائدة أثناء المحادثات المستمرة.
- يوجّه توجيه النماذج الدورات البسيطة إلى نماذج أرخص بينما يحتفظ بالنماذج الأكبر لمهام الاستدلال المعقدة.
تعالج هذه التعديلات القيود المحددة لدورات حياة التطبيقات للجوال، مثل الانتقال للخلفية وإعادة بناء الحالة، والتي غالباً ما تتجاهلها أدلة تحسين جانب الخادم القياسية.