एक उपयोगकर्ता ने स्पेकुलेटिव डिकोडिंग प्रदर्शन का मूल्यांकन करने के लिए एकल RTX 3090 पर Qwen3.6-27B मॉडल का उपयोग करके पांच llama.cpp फर्क्स और वेरिएंट्स का बेंचमार्क लिया।
- ubergarm-tuned MTP के साथ ik_llama ने 63.9 TPS की उच्चतम नैरेटिव स्पीड हासिल की, जबकि इसका ngram+MTP वेरिएंट कोड जनरेशन के लिए 87.8 TPS तक पहुंचा।
- स्वतंत्र ड्राफ्ट मॉडल के साथ DFlash का उपयोग करने वाला beellama ने 96.8 TPS की उच्चतम कोड थ्रूपुट दर्ज की, लेकिन इसमें 504ms का उच्च TTFT था।
- Mainline llama.cpp ने न्यूनतम TTFT (288ms) प्रदान किया और संदर्भ लंबाई में स्थिर गति बनाए रखी, जो फर्क्स के विपरीत है जिनमें महत्वपूर्ण क्षय दिखा।
- Spiritbuun ने केवल -9% संदर्भ क्षय के साथ मजबूत स्थिरता प्रदान की, जबकि LUCEBOX सभी मेट्रिक्स में खराब प्रदर्शन किया।
परिणाम स्थानीय इनफरेंस के लिए इंजन चुनते समय कच्ची थ्रूपुट, टोकन-टू-फर्स्ट-टोकन समय और संदर्भ स्थिरता के बीच व्यापारों को उजागर करते हैं।