एक उपयोगकर्ता ने Qwen 3.5 122B मॉडल का एक कस्टम GGUF क्वांटीज़ेशन जारी किया है, जिसका नाम "Heretic" है, जो ROCmFP4 और iMatrix तकनीकों का उपयोग करता है।
- चेकपॉइंट को 10 अरब सक्रिय पैरामीटर वाले Strix Halo हार्डवेयर के लिए डिज़ाइन किया गया है।
- इसमें लगभग 60.70 GiB मेमोरी की आवश्यकता होती है।
- बेंचमार्क BF16 सटीकता में प्रति सेकंड 28.45 टोकन का प्रदर्शन दर्शाते हैं।
- मॉडल 0.100716 की प्लेक्सिटी (KLD) और प्रति सेकंड 353.3 टोकन का पाइपलाइन थ्रूपुट प्राप्त करता है।