أطلقت Upstage نموذج Solar Open 2، وهو نموذج لغوي كبير مفتوح الأوزان يحتوي على 250 مليار معامل، مصمم لسير العمل الوكيلي مثل إنتاجية المكتب والبرمجة. يستخدم النموذج بنية مزيج الخبراء ذات الانتباه الهجين (Hybrid-Attention Mixture-of-Experts) التي تنشط فقط 15 مليار معامل لكل توكن لتقديم استنتاج فعال.

  • يتميز بنافذة سياق بطول 1M توكن تم تحقيقها عن طريق إزالة الترميز الموضعي لصالح الترميز للترتيب الجوهري داخل طبقات الانتباه الخطي.
  • تم تحسين كفاءة التدريب من خلال تهيئة النموذج بنقل انتقائي للأوزان من Solar Open 1، مع نقل فقط 2.3% من الأوزان.
  • تتداخل البنية بين ثلاث طبقات انتباه خطي وطبقة واحدة ذات انتباه softmax، مما يقلل استخدام ذاكرة KV cache إلى حوالي ربع نموذج softmax بالكامل.
  • يدعم النموذج اللغات الإنجليزية والكورية واليابانية، وهو تنافسي مع نماذج أخرى مفتوحة الأوزان على معايير الوكلاء.

يوفر الإصدار نموذجًا عالي السعة مُحسّنًا للمهام ذات السياق الطويل وقدرات استدعاء الأدوات مع الحفاظ على تكاليف استنتاج منخفضة.