Deutsche Telekom a publié Soofi S 30B-A3B, un modèle de base Mixture-of-Experts (MoE) hybride Mamba Transformer open-source et souverain conçu pour l'allemand et l'anglais. Le modèle a été construit de bout en bout sur le Cloud IA industriel allemand.
- Il n'active que 3B des 30B de paramètres par token tout en maintenant le cache d'inférence quasi constant à mesure que le contexte augmente, offrant un avantage de débit par rapport aux modèles denses.
- Pré-entraîné sur environ 27 billions de tokens avec une pondération accrue des données allemandes, il égale les modèles denses de 14 à 27B sur les benchmarks agrégés.
- Soofi S obtient les meilleurs scores agrégés pour le code dans les deux langues parmi 17 modèles de base open-source et dépasse toutes les références souveraines européennes.
- Il obtient les scores d'évaluation les plus élevés en anglais et en allemand parmi les modèles entièrement ouverts, devançant Olmo 3 32B et Apertus 70B.
La publication inclut les poids, des points de contrôle intermédiaires sélectionnés, une comptabilité complète des données par source, les hyperparamètres, ainsi que le code d'entraînement et d'évaluation sous des termes très permissifs.