Sentence Transformers लाइब्रेरी ने MultiVectorEncoder पेश किया, एक घटक जो देर-अंतर्क्रिया खोज का उपयोग करने वाले बहु-सदिर एम्बेडिंग मॉडल्स के प्रशिक्षण और फाइन-ट्यूनिंग को सक्षम बनाता है। यह जोड़ने से उपयोगकर्ताओं को सामान्य उद्देश्य वाले रीट्रीवर्स पर निर्भर किए बिना शून्य से मजबूत बहु-सदिर मॉडल बनाने या मौजूदा मॉडलों को विशिष्ट डोमेन में ढालने की सुविधा मिलती है।
- इस कार्यान्वयन में ColBERT-शैली आर्किटेक्चर्स का समर्थन है जहाँ टोकन-स्तर की मेलिंग मजबूत खोज प्रदर्शन के लिए सूक्ष्म संकेतों को बनाए रखती है।
- उपयोगकर्ता mLateOn-unsupervised जैसे मौजूदा चेकपॉइंट्स को फाइन-ट्यून कर सकते हैं या ModernBERT जैसे बेस ट्रांसफॉर्मर्स का उपयोग करके नए मॉडल शुरू कर सकते हैं।
- प्रशिक्षण के लिए डेटासेट, लॉस फंक्शन और एवैल्यूएटर सहित विशिष्ट घटकों की आवश्यकता होती है, जिसमें Hugging Face Datasets Hub फॉर्मेट्स का समर्थन है।
- लेखक ने दिखाया कि चिकित्सा डेटा पर फाइन-ट्यूनिंग सामान्य उद्देश्य वाले घन, विरल और शब्दकोश मॉडलों से बेहतर प्रदर्शन करती है।
यह दृष्टिकोण उपभोक्ता हार्डवेयर पर कुछ ही घंटों में डोमेन-विशिष्ट अनुकूलन को सक्षम बनाता है, जो मानक खोज मॉडलों में संक्षिप्त दस्तावेजों की सीमाओं को दूर करता है।