Deutsche Telekom telah merilis Soofi S 30B-A3B, sebuah model fondasi Mixture-of-Experts (MoE) hibrida Mamba Transformer sumber terbuka dan berdaulat yang dirancang untuk bahasa Jerman dan Inggris. Model ini dibangun secara end-to-end di atas German Industrial AI Cloud.
- Model ini hanya mengaktifkan 3B dari 30B parameter per token sambil menjaga cache inferensi hampir konstan seiring bertambahnya konteks, memberikan keunggulan throughput dibandingkan model padat.
- Dilatih sebelumnya pada sekitar 27 triliun token dengan data bahasa Jerman yang diberi bobot lebih tinggi, model ini menyamai model padat berukuran 14 hingga 27B pada benchmark agregat.
- Soofi S mencapai agregasi kode terbaik dalam kedua bahasa di antara 17 model dasar sumber terbuka dan melampaui setiap baseline berdaulat Eropa.
- Model ini memperoleh skor evaluasi bahasa Inggris dan Jerman tertinggi di antara model yang sepenuhnya terbuka, mendahului Olmo 3 32B dan Apertus 70B.
Rilis ini mencakup bobot, titik pemeriksaan perantara terpilih, akuntansi data lengkap per sumber, hiperparameter, serta kode pelatihan dan evaluasi dengan syarat yang sangat permisif.