लेखक USAF पेश करते हैं, Mixture of Experts (MoE) मॉडल्स के लिए एक नया स्पार्स फाइन-ट्यूनिंग विधि, जिसे केवल इनफरेंस सक्षम हार्डवेयर पर फाइन-ट्यूनिंग की अनुमति देने के लिए डिज़ाइन किया गया है।
- विधि एडेप्टर्स का उपयोग करने के बजाय स्पार्स एक्सपर्ट वेट्स और रूटर को ट्रेन करती है।
- यह 12 GB VRAM के साथ AMD RX 6750 XT पर Qwen3-30B-A3B का फाइन-ट्यूनिंग करने की अनुमति देता है।
- प्रोजेक्ट Apache 2.0 लाइसेंस के तहत ओपन सोर्स है।
यह दृष्टिकोण आमतौर पर फाइन-ट्यूनिंग से जुड़े उच्च हार्डवेयर आवश्यकताओं को हटाकर MoE मॉडल कस्टमाइज़ेशन तक पहुंच को लोकतांत्रिक बनाने का लक्ष्य रखता है।