शोधकर्ताओं ने एंट्रॉपी-अवेयर डेंस प्रूनिंग (Entropy-Aware Dense Pruning - EADP) का प्रस्ताव दिया, जो एक फ्रेमवर्क है जिसे मौजूदा दृश्य टोकन प्रूनिंग विधियों की इस विफलता को संबोधित करने के लिए डिज़ाइन किया गया है कि वे घन निर्देशों के तहत महत्वपूर्ण संकेतों को बनाए रखने में असमर्थ हैं। यह दृष्टिकोण सांख्यिकीय एंट्रॉपी का लाभ उठाकर पाठ शोर को फ़िल्टर करने और टोकन चयन को एक स्थानीय पूर्व (spatial prior) के साथ एक सबमॉड्यूलर अधिकतमीकरण समस्या के रूप में डालकर प्रूनिंग को एक संरचित संपीड़न समस्या के रूप में पुनः परिभाषित करता है।
- EADP सांख्यिकीय एंट्रॉपी का उपयोग करके पाठ शोर को मात्रात्मक रूप से मापता और फ़िल्टर करता है ताकि मजबूत निर्देश प्रासंगिकता स्कोर प्राप्त किए जा सकें।
- टोकन चयन को एक स्थानीय पूर्व के साथ एक सबमॉड्यूलर अधिकतमीकरण समस्या के रूप में डाला जाता है ताकि एक समग्र और अनावृत्त दृश्य निरूपण सुनिश्चित किया जा सके।
- यह विधि कठोर टोकन बजट के तहत Vision-Language Models (VLMs) की सटीकता-दक्षता संतुलन को बेहतर बनाती है।
- EADP चुनौतीपूर्ण बहुमोडल बेंचमार्क्स पर राज्य-कला प्रदर्शन प्राप्त करता है जबकि सूक्ष्म दृश्य संकेतों को बनाए रखता है।
लेखकों का मानना है कि यह महत्वपूर्ण है क्योंकि यह उन सूक्ष्म दृश्य संकेतों को मजबूती से बनाए रखता है जो अक्सर साधारण Top-K चयन द्वारा खो जाते हैं, जिससे VLMs की समग्र दक्षता और सटीकता में सुधार होता है।