शोधकर्ताओं ने OrbitQuant प्रस्तुत किया, जो एक डेटा-अग्नोस्टिक वजन-सक्रियण क्वांटाइजर है जिसे डिफ्यूजन ट्रान्सफॉर्मर्स (DiTs) के उच्च इनफरेंस खर्चों को संबोधित करने के लिए डिज़ाइन किया गया है। विधि यादृच्छिक रूप से परिवर्तित ब्लॉक-हैडामार्ड रोटेशन का उपयोग करके एक सामान्यीकृत, घुमाए गए आधार में क्वांटीकरण करके रेंज अनुमान को बायपास करती है।
- एकल लॉइड-मैक्स कोडबुक दिए गए इनपुट आयाम के लिए सभी टाइमस्टेप्स, प्रॉम्प्ट्स और परतों के लिए सेवा देता है।
- वजन पंक्तियों को ऑफलाइन बढ़ाया जाता है ताकि रोटेशन को अवशोषित किया जा सके, जो रैखिक परतों के भीतर इसे रद्द कर देता है ताकि रनटाइम पर केवल फॉरवर्ड एक्टिवेशन रोटेशन ही बचा रहे।
- दृष्टिकोण छवि से वीडियो में बिना किसी प्रति-मोडालिटी ट्यूनिंग की आवश्यकता के स्थानांतरित होता है।
- यह FLUX.1, Z-Image-Turbo, Wan 2.1 और CogVideoX पर पोस्ट-ट्रेनिंग क्वांटीकरण (PTQ) के लिए राज्य की कला स्थापित करता है।
यह तकनीक छवि डिफ्यूजन ट्रान्सफॉर्मर्स के PTQ को W2A4 तक धकेलती है जबकि उपयोग योग्य जनरेटिव गुणवत्ता बनाए रखती है।