ओपन सोर्स फ्रेमवर्क OpenLumara अब उस किसी भी यूजर इंटरफ़ेस से कनेक्शन का समर्थन करता है जो एक OpenAI एंडपॉइंट के साथ संवाद कर सकता है, जैसे कि KoboldLite और OpenWebUI। यह अपडेट उपयोगकर्ताओं को अपने पसंदीदा फ्रंटएंड को बदले बिना टोकन-कुशल हैंरेस को अपने मौजूदा वर्कफ़्लो में एकीकृत करने की अनुमति देता है।
- आर्किटेक्चर KoboldLite जैसे UI से अनुरोधों को पोर्ट 8000 पर OpenLumara के API ब्रिज के माध्यम से LlamaCPP या KoboldCPP जैसे बैकएंड्स की ओर रूट करता है।
- OpenLumara विशेष रूप से स्थानीय मॉडल के लिए डिज़ाइन किया गया है, क्लाउड APIs के लिए आमतौर पर उपयोग किए जाने वाले नियमों को पुनः आविष्कारित करके स्थानीय इनफरेंस की विचित्रताओं को बेहतर ढंग से संभालने के लिए।
- उपयोगकर्टर API ब्रिज चैनल सेटिंग्स के माध्यम से थिंकिंग हेडर्स को संकुचित करके अनुभव को कस्टमाइज़ कर सकते हैं।
यह इंटीग्रेशन उपयोगकर्ताओं को संगत इंटरफ़ेस की एक विस्तृत श्रृंखला में OpenLumara की दक्षता सुधारों का लाभ उठाने सक्षम बनाता है।