Deutsche Telekom telah merilis Soofi S 30B-A3B, sebuah model fondasi hibrida Mamba Transformer Mixture-of-Experts yang berdaulat dan open-source, dirancang untuk bahasa Jerman dan Inggris. Dibangun end-to-end di atas German Industrial AI Cloud, model ini hanya mengaktifkan 3 miliar dari 30 miliar parameternya per token untuk mempertahankan cache inferensi yang hampir konstan seiring bertambahnya konteks.
- Dipra-latih pada sekitar 27 triliun token dengan data Jerman yang diberi bobot lebih tinggi, Soofi S menyamai model padat (dense) 14 hingga 27B dalam agregat benchmark Inggris dan Jerman.
- Model ini mencapai agregat kode terbaik dalam kedua bahasa di antara 17 model dasar open-source dan mengungguli setiap baseline berdaulat Eropa dalam perbandingan.
- Di antara model yang sepenuhnya terbuka, model ini memperoleh skor evaluasi Inggris dan Jerman tertinggi, mendahului Olmo 3 32B dan Apertus 70B.
- Rilis ini mencakup bobot, checkpoint menengah terpilih, akuntansi data per-sumber lengkap, hyperparameter, serta kode pelatihan dan evaluasi di bawah ketentuan yang sangat permisif.
Model ini menawarkan keunggulan throughput yang menentukan dibandingkan model padat untuk deployment konteks panjang dan konkurensi tinggi, sambil memberikan transparansi komprehensif melalui artefak konstruksi data akses terbuka.