Deutsche Telekom ha lanzado Soofi S 30B-A3B, un modelo base de Mezcla de Expertos (Mixture-of-Experts) soberano y de código abierto, optimizado para alemán e inglés. Construido sobre la German Industrial AI Cloud, el modelo activa solo 3 mil millones de sus 30 mil millones de parámetros por token para mantener una caché de inferencia casi constante a medida que crece el contexto.
- Entrenado previamente con aproximadamente 27 billones de tokens con datos alemanes sobremuestreados.
- Igualua a los modelos densos de 14 a 27B en benchmarks agregados de inglés y alemán.
- Logra los mejores resultados agregados de código en ambos idiomas entre 17 modelos base abiertos.
- Supera a todas las bases soberanas europeas, incluidas aquellas con muchos más parámetros activos.
- Obtiene las puntuaciones de evaluación más altas en inglés y alemán entre los modelos totalmente abiertos, por delante de Olmo 3 32B y Apertus 70B.
El lanzamiento incluye pesos, puntos de control intermedios, contabilidad de datos, hiperparámetros y código de entrenamiento bajo términos altamente permisivos.