सोलर ओपन 2 तकनीकी रिपोर्ट सोलर ओपन 2 का परिचय देती है, जो लंबे-अवधि एजेंटिक कार्यों के लिए डिज़ाइन किया गया एक 250B-A15B मिक्स्चर-ऑफ़-एक्सपर्ट्स भाषा मॉडल है। यह हाइब्रिड एटेंशन स्टैक के माध्यम से 1M-टोकन संदर्भ विंडो प्राप्त करता है और सोलर ओपन 1 से कुशल प्रारंभीकरण और चयनित उच्च-मूल्य वाले डेटा का उपयोग करके प्रशिक्षित किया गया है।
- मॉडल में हर तीन रैखिक-एटेंशन परतों के बीच एक सॉफ्टमैक्स परत वाला हाइब्रिड एटेंशन तंत्र शामिल है, जिसमें कोई स्थानीय एन्कोडिंग नहीं है और ऋणात्मक आइगेनवैल्यू तक विस्तारित गेटेड डेल्टा नियम का उपयोग किया गया है।
- प्रशिक्षण दक्षता को सोलर ओपन 1 के साझा स्केलेटन से प्रारंभीकरण करके और गुणवत्ता- एवं दुर्लभता-जागरूक चयन के माध्यम से 20T डेटा पूल को 10T मिक्सचर में परिष्कृत करके प्राप्त की गई है।
- एजेंट कौशल मल्टी-टीचर ऑन-पॉलिसी डिस्टिलेशन (MOPD) का उपयोग करके बारह डोमेन विशेषज्ञों से संघबद्ध किए गए हैं।
- सोलर ओपन 2 MMLU-Pro, LiveCodeBench और APEX-Agents सूट पर तुलनीय आकार के ओपन-वेट मॉडलों में शीर्ष स्थान पर है, जबकि DeepSeek-V4-Flash और MiMo-V2.5 के साथ प्रतिस्पर्धी बना हुआ है।
- कोरियाई बेंचमार्क पर, यह तुलना किए गए मॉडलों में उच्चतम औसत दर्ज करता है और अपने आकार में छठा हिस्से से कम होने के बावजूद DeepSeek-V4-Pro के साथ प्रतिस्पर्धी है।
रिपोर्ट सोलर ओपन 2 की इस क्षमता पर प्रकाश डालती है कि वह एकल संदर्भ में पूरे एजेंट ट्रैजेक्टरी को बनाए रखते हुए अंग्रेजी और कोरियाई बेंचमार्क दोनों में उच्च प्रदर्शन बनाए रखता है।