एक उपयोगकर्ता ने llama-server का उपयोग करके Ornith-1.0-35B मॉडल को ड्राफ्ट मॉडल के रूप में Qwen3.6-35B-A3B-DFlash के साथ जोड़कर टोकन जनरेट करने की गति में 30-40% की वृद्धि की रिपोर्ट की है।
- कॉन्फ़िगरेशन `--spec-type draft-dflash` फ्लैग के माध्यम से अनुमानित ड्राफ्ट मॉडल के रूप में Ornith-1.0-35B-GGUF (Q8_0) का उपयोग करता है।
- मिश्रित जावास्क्रिप्ट कोड और वikipedिया टेक्स्ट के 50k संदर्भ पर परीक्षण ने 80% टोकन स्वीकार दर दी।
- सेटअप में संदर्भ लंबाई, तापमान और ड्राफ्ट चरणों के लिए विशिष्ट पैरामीटर के साथ llama-server चलाना शामिल है।
हालाँकि यह संयोजन जनरेट करने की गति को बढ़ाता है, लेकिन इसकी कीमत पर प्रॉम्प्ट प्रसंस्करण समय काफी धीमा हो जाता है, जिसका अर्थ है कि यह एक सार्वभौमिक समाधान नहीं है।