Deutsche Telekom a publié Soofi S 30B-A3B, un modèle de base hybride Mamba Transformer à experts multiples (Mixture-of-Experts) souverain et open-source conçu pour l'allemand et l'anglais. Construit de bout en bout sur le Cloud IA industriel allemand, le modèle n'active que 3 milliards de ses 30 milliards de paramètres par token afin de maintenir un cache d'inférence quasi constant à mesure que le contexte s'agrandit.
- Pré-entraîné sur environ 27 billions de tokens avec des données allemandes surpondérées, Soofi S égale les modèles denses de 14 à 27 milliards de paramètres sur les agrégats de benchmarks anglais et allemands.
- Il obtient les meilleurs scores agrégés pour le code dans les deux langues parmi 17 modèles de base open-source et surpasse toutes les références souveraines européennes dans les comparaisons.
- Parmi les modèles entièrement ouverts, il obtient les scores d'évaluation les plus élevés en anglais et en allemand, devançant Olmo 3 32B et Apertus 70B.
- La publication inclut les poids, des points de contrôle intermédiaires sélectionnés, une comptabilité complète des données par source, les hyperparamètres, ainsi que le code d'entraînement et d'évaluation sous des termes très permissifs.
Le modèle offre un avantage décisif en débit par rapport aux modèles denses pour les déploiements à contexte long et haute concurrence, tout en fournissant une transparence complète grâce aux artefacts de construction de données en accès ouvert.