OrbitQuant एक डेटा-अज्ञेय वजन-सक्रियता क्वांटीटर है जो प्रत्येक चेकपॉइंट के लिए कैलिब्रेशन डेटा की आवश्यकता को bypass करके डिफ्यूजन ट्रान्सफॉर्मर्स (DiTs) के लिए इनफरेंस लागतों को कम करने के लिए डिज़ाइन किया गया है। यह यादृच्छिक रूप से प्रतिस्थापित ब्लॉक-हैडामार्ड रोटेशन का उपयोग करके एक सामान्यीकृत, घुमाए गए आधार में क्वांटाइज़ करता है, जिससे एकल लॉयड-मैक्स कोडबुक सभी टाइमस्टेप्स, प्रॉम्प्ट्स और परतों के लिए काम कर सकता है।
- विधि ऑफ़लाइन वजन पंक्तियों तक विस्तारित होती है, रोटेशन को वजनों में अवशोषित कर लेती है ताकि रनटाइम पर केवल सक्रियताओं पर एक फॉरवर्ड रोटेशन ही शेष रहता है।
- यह बिना किसी प्रति-मोडालिटी ट्यूनिंग की आवश्यकता के छवि से वीडियो जनरेशन में स्थानांतरित होता है।
- OrbitQuant FLUX.1, Z-Image-Turbo, Wan 2.1 और CogVideoX में पोस्ट-ट्रेनिंग क्वांटीकरण (PTQ) के लिए राज्य की कला स्थापित करता है।
- यह उपयोग योग्य जनरेशन गुणवत्ता बनाए रखते हुए छवि डिफ्यूजन ट्रान्सफॉर्मर्स के PTQ को W2A4 तक धकेलता है।
यह दृष्टिकोण प्रत्येक नए चेकपॉइंट या इनपुट प्रकार के लिए कैलिब्रेशन डेटा को फिर से फिट करने की ओवरहेड के बिना विभिन्न मोडालिटीज़ में लो-बिट क्वांटीकरण के लिए एक एकीकृत समाधान प्रदान करता है।