एक उपयोगकर्ता ने Juud_engine जारी किया है, जो Strata v0.1.39 का एक प्रायोगिक MIT-लाइसेंस वाला फॉर्क है, जिसका डिज़ाइन RTX 4090 जैसे उपभोक्ता हार्डवेयर पर Qwen3.8-Flash-Next मॉडल के स्थानीय इनफरेंस के लिए किया गया है। इस प्रोजेक्ट ने दो ऑप्ट-इन CPU-साइड डिकोड बदलाव पेश किए: CPU विशेषज्ञ बैचों के बाद कम किया गया वर्कर स्पिन और टोकन जो पूरी तरह से GPU पर रूट किए गए हैं, उनके लिए CPU सक्रियण क्वांटीकरण को छोड़ दिया गया।
- i7-13700 और RTX 4090 पर बेंचमार्क ने विभिन्न संदर्भ लंबाइयों के लिए माध्य युग्मित डिकोड थ्रूपुट में 3.1–9.1% की सुधार और 0.5–5.6% की लेटेंसी लाभ दिखाए।
- कैश सेटिंग्स अलग होने पर एक अलग नियंत्रण रन ने 9.6–15.6% तक उच्च थ्रूपुट लाभ रिपोर्ट किए, हालांकि आउटपुट स्थिरता परीक्षण विन्यासों के बीच भिन्न थी।
- रिपॉजिटरी में स्रोत डिफ्स, बिल्ड निर्देश, मॉडल हैश और स्वतंत्र प्रतिकृति के लिए एक सत्यापन स्क्रिप्ट शामिल हैं।
लेखक बेंचमार्क विधि पर प्रतिक्रिया आमंत्रित करते हैं और प्रदर्शन दावों को मान्य करने के लिए स्वतंत्र प्रतिकृतियों का अनुरोध करते हैं।