एक उपयोगकर्ता ने DeepSeek V4 Flash (DSV4) चलाते समय मिलने वाले क्रैश और स्टॉल को हल करने के लिए llama.cpp के लिए एक फिक्स सबमिट किया है। समस्या विचलित टर्न के दौरान अनुक्रम निकालने की अयोग्यता से उत्पन्न हुई, जिसके कारण सिस्टम केवल डेल्टा के बजाय हजारों टोकन को फिर से प्रीफिल करने लगा।
- मूल कारण DSV4 का आंशिक seq_rm करने में असमर्थ होना था, जिसने एक चेकपॉइंट रीस्टोर को मजबूर किया जो भविष्य की SWA सेल को प्योर करने में विफल रहा।
- इस त्रुटि ने 768-सेल SWA विंडो को खाली कर दिया, जिसके परिणामस्वरूप तार्किक गहराई 1250 टोकन के आसपाद "Context size has been exceeded" क्रैश हुआ।
- फिक्स ने विचलित सफ़िक्स का उचित seq_rm लागू किया, सुनिश्चित करते हुए कि केवल डेल्टा को ही फिर से प्रीफिल किया जाए।
- लेखक ने इन मुद्दों को हल करने और पुनरुत्पादन व परीक्षण के लिए एक फोर्क किए गए ब्रांच की आपूर्ति की है।
अपडेट ने क्रैश और स्टॉल दोनों को हटा दिया, कम टोकन गति पर भी उपयोगकर्ता अनुभव को बेहतर बना दिया।