शोधकर्ताओं ने GenRecal प्रस्तुत किया, एक सामान्य उद्देश्य वाला डिस्टिलेशन फ्रेमवर्क जो बड़े विज़न-लैंग्वेज मॉडलों (VLMs) से ज्ञान को छोटे और अधिक कुशल प्रतिरूपों में स्थानांतरित करता है। यह विधि एक Recalibrator का उपयोग करके विभिन्न प्रकार के मॉडलों के बीच फीचर प्रतिनिधित्वों को संरेखित और अनुकूलित करके विषम VLM आर्किटेक्चर की चुनौती को संबोधित करता है।
- GenRecal विभिन्न LLMs पर निर्मित VLMs के बीच प्रभावी ज्ञान स्थानांतरण सक्षम बनाता है, जिनमें विविट टोकन प्रकार, शब्दावली आकार और इंडेक्स क्रम होते हैं।
- कई चुनौतीपूर्ण बेंचमार्क्स पर व्यापक प्रयोग दिखाते हैं कि GenRecal बेसलाइन प्रदर्शन को महत्वपूर्ण रूप से सुधारता है।
- डिस्टिल किए गए छोटे मॉडल अंततः बड़े स्केल के ओपन-और-क्लोड-सोर्स VLMs को पार कर जाते हैं।
यह फ्रेमवर्क पिछले डिस्टिलेशन विधियों में निहित आर्किटेक्चर सीमाओं को दूर करके, संसाधन-सीमित उपकरणों पर उच्च-प्रदर्शन विज़न-लैंग्वेज क्षमताओं के तैनाती की अनुमति देता है।