حدد مطورٌ نشر نموذج Llama 3.1:8b-instruct-q4_K_M عبر Ollama مع FastAPI وQdrant لوكلاء الصوت باللغة الإسبانية وWhatsApp ثلاثة مشكلات في الإنتاج تتعلق بكيفية تعامل النموذج مع السياق المُحقَن في المحادثات متعددة الأدوار.
- أدى إدراج رسالة نظام ثانية أثناء المحادثة إلى استجابة النموذج للتعليمات المُحقَنة بدلاً من امتصاصها بصمت، مما أدى إلى فقدان سجل المحادثة؛ وقد تم حل هذه المشكلة عن طريق نقل جميع السياقات الديناميكية إلى رسالة النظام الأولية.
- أحياناً كان النموذج يرفض الإجابة عندما تكون مقاطع RAG المسترجعة طويلة أو فقرات غير منظمة، معاملاً المواد المرجعية على أنها سؤال المستخدم بدلاً من الاستعلام الفعلي.
- تسبب تحديد سجل المحادثة بالرسائل الست الأخيرة في فقدان الذاكرة في المكالمات الأطول؛ وقد تم إصلاح هذه المشكلة عن طريق رفع قيمة num_ctx إلى 4096 وتوسيع النافذة لتصبح 16 دوراً.
يسعى المؤلف للحصول على تأكيد حول ما إذا كانت هذه السلوكيات تمثل قيوداً معروفة في ضبط تعليمات Llama 3.1 أو قالب الدردشة الخاص بـ Ollama، لا سيما فيما يتعلق بمعالجة أدوار النظام المتعددة وكتل السياق الطويلة.