स्पैनिश-भाषा वाले वॉइस और WhatsApp एजेंट्स के लिए Ollama, FastAPI और Qdrant के माध्यम से Llama 3.1:8b-instruct-q4_K_M तैनात करने वाले एक डेवलपर ने मल्टी-टर्न कॉन्वर्सेशन में इंजेक्टेड संदर्भ को कैसे हैंडल किया जाता है, इसके संबंधित उत्पादन की तीन समस्याओं की पहचान की।
- बातचीत के बीच में दूसरा सिस्टम संदेश डालने से मॉडल इंजेक्टेड निर्देश का जवाब देने लगा, इसे चुपचाप अवशोषित करने के बजाय, जिससे कॉन्वर्सेशन इतिहास खो गया; सभी गतिशील संदर्भ को प्रारंभिक सिस्टम संदेश में ले जाना ने इस समस्या को हल कर दिया।
- जब पुनर्प्राप्त RAG चंक लंबे या अगठित पैराग्राफ थे, तो मॉडल कभी-कभी जवाब देने से इनकार कर देता था, संदर्भ सामग्री को वास्तविक क्वेरी के बजाय उपयोगकर्ता के प्रश्न के रूप में मान लेता था।
- कॉन्वर्सेशन इतिहास को आखिरी छह संदेशों तक सीमित करने से लंबी कॉल में अमनेशिया हो गया; num_ctx को 4096 तक बढ़ाने और विंडो को 16 टर्न तक चौड़ा करने ने इस समस्या को ठीक कर दिया।
लेखक पुष्टि चाहता है कि क्या ये व्यवहार Llama 3.1 के इन्सट्रक्ट ट्यूनिंग या Ollama के चैट टेम्पलेट की ज्ञात सीमाएं हैं, विशेष रूप से कई सिस्टम भूमिकाओं और लंबे संदर्भ ब्लॉकों के हैंडलिंग के संबंध में।