Deutsche Telekom telah merilis Soofi S 30B-A3B, sebuah model fondasi Mixture-of-Experts berdaulat dan open-source yang dioptimalkan untuk bahasa Jerman dan Inggris. Dibangun di atas German Industrial AI Cloud, model ini hanya mengaktifkan 3 miliar dari 30 miliar parameternya per token untuk mempertahankan cache inferensi yang hampir konstan seiring bertambahnya konteks.
- Dilatih sebelumnya pada sekitar 27 triliun token dengan data bahasa Jerman yang diberi bobot lebih tinggi.
- Menyamai model padat 14 hingga 27B pada agregat benchmark bahasa Inggris dan Jerman.
- Mencapai agregat kode terbaik dalam kedua bahasa di antara 17 model dasar open-source.
- Mengungguli setiap baseline berdaulat Eropa, termasuk yang memiliki parameter aktif jauh lebih besar.
- Mendapatkan skor evaluasi bahasa Inggris dan Jerman tertinggi di antara model sepenuhnya open-source, mendahului Olmo 3 32B dan Apertus 70B.
Rilis ini mencakup bobot, checkpoint menengah, akuntansi data, hyperparameter, dan kode pelatihan di bawah ketentuan yang sangat permisif.