Deutsche Telekom a publié Soofi S 30B-A3B, un modèle fondationnel Mixture-of-Experts souverain et open-source optimisé pour l'allemand et l'anglais. Construit sur le German Industrial AI Cloud, le modèle n'active que 3 milliards de ses 30 milliards de paramètres par token afin de maintenir un cache d'inférence quasi constant à mesure que le contexte augmente.
- Pré-entraîné sur environ 27 billions de tokens avec une pondération accrue des données allemandes.
- Égalise les modèles denses de 14 à 27 milliards de paramètres sur les agrégats de benchmarks anglais et allemand.
- Obtient les meilleurs scores agrégés pour le code dans les deux langues parmi 17 modèles de base open-source.
- Surpasse toutes les références souveraines européennes, y compris celles avec beaucoup plus de paramètres actifs.
- Obtient les scores d'évaluation les plus élevés en anglais et en allemand parmi les modèles entièrement ouverts, devançant Olmo 3 32B et Apertus 70B.
La publication inclut les poids, les points de contrôle intermédiaires, la comptabilité des données, les hyperparamètres et le code d'entraînement sous des termes très permissifs.