एक उपयोगकर्ता ने Apple Silicon हार्डवेयर पर M1 और M2 Ultra उपकरणों के लिए बनाए गए कस्टम इंजन का उपयोग करके, विशेष रूप से LLaDA2.1 और Sumi को चलाने वाले डिफ्यूज़न-आधारित भाषा मॉडलों (dLLMs) के प्रारंभिक प्रयोगों की रिपोर्ट की है।
- M1 पर 4.6–22.2 tok/s और M2 Ultra पर 32.1–122.6 tok/s की स्थापित बेसलाइन थ्रूपुट।
- डिफ़ॉल्ट के रूप में यूनिफ़ॉर्म 4-बिट क्वांटीज़ेशन अपनाया गया, जिसके परिणामस्वरूप ~9.57 GB का मॉडल फुटप्रिंट और कम आत्मविश्वास फ्लिप दर प्राप्त हुई।
- लचीले कैश (अस्वीकृत), मल्टी-ब्लॉक अनमैस्किंग (स्थगित रूप से स्वीकृत) और S2D2 के माध्यम से ऑटो-स्पेकुलेशन (स्वीकृत) सहित कई अनुकूलन परीक्षित किए गए।
- TSCV वोटिंग ने GSM8K की सटीकता को शून्य CPU ओवरहेड के साथ 6–8 प्रतिशत बिंदुओं से बढ़ाया, जबकि क्रेडिट डिकोडिंग से नगण्य लाभ मिले।
- रूटिंग विश्लेषण ने दिखाया कि अलग-अलग विशेषज्ञों की संख्या अनुमानित से कम है, और क्वांटीज़न आवश्यक बना हुआ है क्योंकि डीक्वांटीज़ेशन प्रदर्शन को धीमा कर देता है।
लेखक व्यक्तिगत उपकरणों के लिए एक कार्यात्मक डिफ्यूज़न इंजन बनाने और इन मॉडलों के कैसे काम करते हैं, इसकी गहरी समझ प्राप्त करने का लक्ष्य रखता है।