llama.cpp सर्वर अब /v1/embeddings एंडपॉइंट के लिए टाइप्ड कंटेंट (विजन, ऑडियो, वीडियो) इनपुट का समर्थन करता है। यह अपडेट ओपेनएआई-स्टाइल से बंद किए गए कंटेंट ऐरे को स्वीकार करके मल्टीमोडल एम्बेडिंग अनुरोधों को सक्षम बनाता है, जिससे टेक्स्ट और image_url हिस्सों को एक साथ प्रोसेस किया जा सकता है।
- मल्टीमोडल एम्बेडिंग के लिए ओपेनएआई-स्टाइल से बंद किए गए कंटेंट ऐरे फॉर्मेट को स्वीकार करता है।
- टेक्स्ट हिस्सों को कॉन्कैटनेट किया जाता है जबकि image_url हिस्से handle_media के माध्यम से डिकोड किए जाते हैं और process_mtmd_prompt के साथ जोड़े जाते हैं।
- लेगसी फॉर्मेट (साधारण स्ट्रिंग, टोकन ऐरे, मिक्स्ड ऐरे) बिना किसी बदलाव के काम करना जारी रखते हैं।
- बेयर कंटेंट ऐरे को माइग्रेशन संदेश के साथ अस्वीकार कर दिया जाता है।
- अनुरोधों के बीच गलत कैश शेयरिंग से बचने के लिए स्टेटलेस एम्बेडिंग/रीरैंक टास्क के लिए KV प्रीफिक्स रीयूज़ को अक्षम करता है।
इस बदलाव से उपयोगकर्ताओं को मानक ओपेनएपीआई फॉर्मेट का उपयोग करके मल्टीमोडल इनपुट के लिए एम्बेडिंग जनरेट करने की अनुमति मिलती है, यह सुनिश्चित करते हुए कि दोहराए गए इनपुट गलत तरीके से कैश किए गए की-वैल्यू पेयर शेयर नहीं करते हैं।