Deutsche Telekom ha lanzado Soofi S 30B-A3B, un modelo base soberano y de código abierto de tipo Mixture-of-Experts (MoE) e híbrido Mamba Transformer, diseñado para alemán e inglés. El modelo fue construido de extremo a extremo en la German Industrial AI Cloud.
- Activa solo 3B de los 30B parámetros por token mientras mantiene el caché de inferencia casi constante a medida que crece el contexto, proporcionando una ventaja de rendimiento sobre los modelos densos.
- Entrenado con aproximadamente 27 billones de tokens con datos alemanes sobremuestreados, iguala a los modelos densos de 14 a 27B en benchmarks agregados.
- Soofi S logra los mejores resultados de código en ambos idiomas entre 17 modelos base abiertos y supera a todas las bases soberanas europeas.
- Obtiene las puntuaciones más altas en inglés y alemán entre los modelos totalmente abiertos, por delante de Olmo 3 32B y Apertus 70B.
El lanzamiento incluye pesos, puntos de control intermedios seleccionados, contabilidad completa de datos por fuente, hiperparámetros y código de entrenamiento y evaluación bajo términos altamente permisivos.