يقترح الباحثون إطار عمل التقليم الكثيف الواعي بالإنتروبيا (EADP)، المصمم لمعالجة فشل طرق تقليم الرموز البصرية الحالية في الحفاظ على الإشارات الحرجة تحت التعليمات الكثيفة. تعيد هذه الطريقة صياغة التقليم كمضغوط منظم عن طريق الاستفادة من الإنتروبيا الإحصائية لتصفية الضوضاء النصية، وتصوير اختيار الرموز كمشكلة تعظيم فرعي-نموذجي مع أولوية مكانية.
- يقيس EADP ويصفي الضوضاء النصية باستخدام الإنتروبيا الإحصائية للحصول على درجات صلة تعليمات قوية.
- يتم تصوير اختيار الرموز كمشكلة تعظيم فرعي-نموذجي مع أولوية مكانية لضمان تمثيل بصري شامل وغير متكرر.
- تحسن الطريقة المقايضة بين الدقة والكفاءة لنماذج الرؤية واللغة (VLMs) تحت ميزانيات رموز صارمة.
- يحقق EADP أداءً رائداً على معايير متعددة الوسائط صعبة مع الحفاظ على الإشارات البصرية الدقيقة.
يعتقد المؤلفون أن هذا مهم لأنه يحافظ بشكل قوي على الإشارات البصرية الدقيقة التي غالباً ما تضيع بالاختيار السطحي لـ Top-K، مما يحسن الكفاءة والدقة العامة لنماذج VLMs.