एक रेडिट उपयोगकर्ता Qwen 3.6 27B मॉडल के लिए अधिकतम विश्वसनीय संदर्भ विंडो लंबाई के बारे में पूछ रहा है, विशेष रूप से Q8_0 क्वांटाइजेशन का उपयोग करते समय।
- उपयोगकर्ता रिपोर्ट करता है कि वह वर्तमान में 100k संदर्भ लंबाई पर काम कर रहा है लेकिन परिणाम असंतोषजनक पाता है।
- वे केवल KV cache क्वांटाइजेशन से बचने के अलावा, लंबे संदर्भों में स्थिरता को बेहतर बनाने के तरीकों की तलाश कर रहे हैं।