पांच मॉडलों और दो हार्डवेयर प्लेटफ़ॉर्मों पर डिवाइस-पर Vision-Language Model (VLM) निष्पादन का एक व्यवस्थित ऊर्जा प्रोफाइलिंग यह दर्शाता है कि प्राथमिक ऊर्जा बाधा दृश्य धारणा के बजाय आउटपुट जनरेशन है। यह अध्ययन इस सामान्य मान्यता को उलट देता है कि दृश्य टोकन कम करना सबसे प्रभावी दक्षता रणनीति है, इसके बजाय यह दिखाता है कि पावर बचत के लिए आउटपुट लंबाई को नियंत्रित करना महत्वपूर्ण है।
- औसत निष्पादन शक्ति एक मॉडल-आंतरिक स्थिरांक बना रहती है, जो इनपुट रिज़ॉल्यूशन या छवि जटिलता से स्वतंत्र रूप से 5% से कम भिन्नता दिखाती है।
- प्रीफिल और डिकोड चरणों के बीच कंप्यूट और मेमोरी असममिति के कारण, प्रत्येक आउटपुट टोकन को प्रत्येक इनपुट टोकन की तुलना में 11 से 39 गुना अधिक वॉल-क्लॉक समय की आवश्यकता होती है।
- ऑब्जेक्ट गणना द्वारा मापी गई छवि जटिलता, दृश्य प्रसंस्करण लागत के बजाय केवल आउटपुट लंबाई में भिन्नताओं के माध्यम से ऊर्जा में 4.1x तक का अंतर पैदा करती है।
- फिक्स्ड-टोकन मॉडलों के लिए दृश्य टोकन प्रूनिंग कुल ऊर्जा में अधिकतम 10% की बचत करता है, जबकि आउटपुट लंबाई को नियंत्रित करने से 1 अरब से 8 अरब पैरामीटर वाले मॉडलों में 97% तक की बचत हो सकती है।
इन निष्कर्षों से पता चलता है कि एज VLM निष्पादन में वास्तविक ऊर्जा बाधा यह निर्धारित करती है कि मॉडल कितना जनरेट करता है, न कि वह क्या धारण करता है, जिससे दृश्य टोकन कमी के बजाय डिकोडिंग दक्षता को प्राथमिकता देने की आवश्यकता पर प्रकाश पड़ता है।