أطلقت دويتشه تيليكوم Soofi S 30B-A3B، وهو نموذج أساسي من نوع Mixture-of-Experts (MoE) هجين Mamba Transformer مفتوح المصدر وسيادي مصمم للألمانية والإنجليزية. تم بناء النموذج من البداية إلى النهاية على السحابة الصناعية للذكاء الاصطناعي الألمانية.
- يقوم بتفعيل 3B فقط من أصل 30B معلمة لكل توكن مع الحفاظ على ذاكرة التخزين المؤقت للاستنتاج ثابتة تقريبًا مع نمو السياق، مما يوفر ميزة في معدل الإرسال مقارنة بالنماذج الكثيفة.
- تم تدريبه مسبقًا على حوالي 27 تريليون توكن مع زيادة وزن البيانات الألمانية، حيث يعادل النماذج الكثيفة بحجم 14 إلى 27B في المعايير المجمعة.
- يحقق Soofi S أفضل النتائج المجمعة للشفرة في كلتا اللغتين من بين 17 نموذجًا أساسيًا مفتوح المصدر ويتفوق على جميع الأساسيات السيادية الأوروبية.
- يحصل على أعلى درجات التقييم باللغة الإنجليزية والألمانية بين النماذج المفتوحة بالكامل، متقدمًا على Olmo 3 32B و Apertus 70B.
يشمل الإطلاق الأوزان، ونقاط التفتيش الوسيطة المختارة، ومحاسبة البيانات الكاملة لكل مصدر، والمعلمات الفائقة، وكود التدريب والتقييم بشروط مسموحة للغاية.