लेखक ने AiiStream Q3.6 जारी किया है, जो एक ओपन-सोर्स तकनीक है जो केवल 8 से 16 GB RAM वाले Apple Silicon डिवाइसों पर Qwen3.6-35B-A3B मॉडल चलाने की अनुमति देती है। SSD पर रूटेड एक्सपर्ट्स को बनाए रखने और शीघ्र लोडिंग पूर्वानुमान का उपयोग करने से, विधि MLX मेमोरी उपयोग को लगभग 1.7 GB तक कम कर देती है, जबकि मानक mlx_lm कार्यान्वयन के साथ बाइट-स्तर पर पूर्णतः समान आउटपुट बनाए रखती है।

16 GB M5 MacBook Air पर प्रमुख प्रदर्शन मापदंड:

  • नियंत्रित बेंचमार्क में 15.0 tok/s, जो सीधे SSD स्ट्रीमिंग की तुलना में 72.6% तेज़ है।
  • अन्य एप्लिकेशन चलाने पर लगभग 11.8 tok/s।
  • छोटे प्रॉम्प्ट्स के लिए पहले टोकन तक समय लगभग 2.3 सेकंड।

यह तकनीक 8 GB वाले Mac पर भी काम करने के लिए डिज़ाइन की गई है, हालाँकि उस विन्यास के लिए प्रदर्शन आंकड़े वर्तमान रिलीज पर आधारित अनुमानित हैं।