लेखक का तर्क है कि एकल GPU से डुअल GPU में अपग्रेड करना बड़े, उच्च-गुणवत्ता वाले मॉडल क्वांटाइजेशन का उपयोग सक्षम बनाने के बजाय समानांतर प्रसंस्करण के माध्यम से अधिक लाभ प्रदान करता है। कोडिंग कार्यों के लिए, Q4 और Q6/Q8 क्वांटाइजेशन के बीच गुणवत्ता में अंतर नगण्य है, जिससे बढ़े हुए संदर्भ विंडो और थ्रूपुट अधिक मूल्यवान बन जाते हैं।
- सेटअप एक Qwen 27B मॉडल का उपयोग ऑर्केस्ट्रेटर के रूप में करता है, जो विभाजित उपकार्यों को प्रबंधित करने के लिए व्यापक संदर्भ के साथ।
- सबएजेंट्स, जैसे कि Qwen 35B-A3B, अपनी 115k संदर्भ सीमाओं के भीतर संकीर्ण कार्यों को संभालते हैं और समाप्त होने से पहले रिपोर्ट करते हैं।
- यह आर्किटेक्चर तीन एजेंट्स को समानांतर चलने देता है, जो एकल मॉडल की तुलना में कुल थ्रूपुट को काफी बढ़ाता है।
- प्रणाली विशिष्ट, अच्छी तरह से परिभाषित कार्यों के लिए सबएजेंट्स को सक्रिय रखकर बार-बार मॉडल अनलोडिंग और कंपैक्शन से बचती है।
यह दृष्टिकोण अपर्याप्त हार्डवेयर पर बड़े 100B+ मॉडल चलाने की कोशिश करने की तुलना में अधिक व्यावहारिक मूल्य प्रदान करता है, SOTA बंद मॉडल केवल कभी-कभार विशेषज्ञ समीक्षाओं के लिए संपत्ति रखता है।