Para peneliti mengusulkan Entropy-Aware Dense Pruning (EADP), sebuah kerangka kerja yang dirancang untuk mengatasi kegagalan metode pemangkasan token visual yang ada dalam mempertahankan petunjuk kritis di bawah instruksi padat. Pendekatan ini merumuskan ulang pemangkasan sebagai masalah kompresi terstruktur dengan memanfaatkan entropi statistik untuk memfilter noise teks dan memetakan pemilihan token sebagai masalah maksimisasi submodular dengan prior spasial.
- EADP mengkuantifikasi dan memfilter noise teks menggunakan entropi statistik untuk menghasilkan skor relevansi instruksi yang robust.
- Pemilihan token dipetakan sebagai masalah maksimisasi submodular dengan prior spasial untuk memastikan representasi visual yang holistik dan tidak redundan.
- Metode ini meningkatkan trade-off akurasi-efisiensi dari Vision-Language Models (VLMs) di bawah batasan token yang ketat.
- EADP mencapai kinerja state-of-the-art pada benchmark multimodal yang menantang sambil mempertahankan petunjuk visual berbutir halus.
Para penulis menganggap ini penting karena secara robust mempertahankan petunjuk visual berbutir halus yang sering hilang oleh pemilihan Top-K naif, sehingga meningkatkan efisiensi dan akurasi keseluruhan VLMs.