अपस्टेज ने Solar Open 2 जारी किया है, जो एक ओपन-वेट बड़े भाषा मॉडल (LLM) है जिसमें 250 अरब पैरामीटर हैं और यह ऑफिस उत्पादकता और कोडिंग जैसे एजेंटिक वर्कफ़्लो के लिए डिज़ाइन किया गया है। मॉडल कुशल इनफरेंस प्रदान करने के लिए प्रति टोकन केवल 15 अरब पैरामीटर सक्रिय करता है, जिसके लिए यह हाइब्रिड-एटेंशन मिक्सचर-ऑफ़-एक्सपर्ट्स आर्किटेक्चर का उपयोग करता है।
- इसमें रैखिक-एटेंशन परतों के भीतर स्थानीय क्रम एन्कोडिंग को प्राथमिकता देकर स्थितिज एन्कोडिंग को हटाकर 1M-टोकन संदर्भ विंडो प्राप्त की गई है।
- Solar Open 1 से चयनात्मक वजन स्थानांतरण के साथ मॉडल को प्रारंभ करके प्रशिक्षण दक्षता में सुधार किया गया है, जिसमें केवल 2.3% वजन ही आगे बढ़ाए गए हैं।
- आर्किटेक्चर एक सॉफ्टमैक्स-एटेंशन परत के साथ तीन रैखिक-एटेंशन परतों को एकांतरित करता है, जिससे KV कैश मेमोरी उपयोग लगभग पूर्ण-सॉफ्टमैक्स मॉडल का चौथाई रह जाता है।
- मॉडल अंग्रेजी, कोरियन और जापानी भाषाओं का समर्थन करता है और एजेंट बेंचमार्क पर अन्य ओपन-वेट मॉडलों के साथ प्रतिस्पर्धी है।
इस रिलीज़ में लंबे-संदर्भ कार्यों और टूल-कॉलिंग क्षमताओं के लिए अनुकूलित उच्च-क्षमता वाला मॉडल प्रदान किया गया है, जबकि कम इनफरेंस लागत बनाए रखी गई है।