حدد الباحثون تحول المعلومات البصرية ذات الصلة (RVIS) أثناء فك التشفير كسبب رئيسي لفشل طرق تقليم الرموز البصرية الحالية في نماذج اللغة الكبيرة متعددة الوسائط (MLLMs). ولمعالجة ذلك، يقترحون تقليم الرموز الواعي بالتحول في مرحلة فك التشفير (DSTP)، وهو إطار عمل لا يتطلب التدريب يقوم بمحاذاة الرموز البصرية مع متطلبات الاستدلال المتغيرة.
- DSTP هو إضافة لا تتطلب تدريبًا تقوم بتصحيح RVIS أثناء مرحلة فك التشفير.
- يقلل بشكل كبير من تدهور أداء طرق التقليم في مهام الاستدلال المعقدة.
- يحقق الطريقة مكاسب أداء متسقة عبر معايير فهم الصور.
- يُظهر DSTP قابلية للتعميم والكفاءة مع الحد الأدنى من الحمل الحسابي عبر مختلف المعماريات الحديثة.
يتيح هذا النهج للطرق الحالية للتقليم الحفاظ على موثوقيتها عند التعامل مع العدد الهائل من الرموز البصرية المطلوبة للاستدلال البصري المعقد.