Deutsche Telekom ha lanzado Soofi S 30B-A3B, un modelo base híbrido Mixture-of-Experts con Mamba Transformer, soberano y de código abierto, diseñado para alemán e inglés. Construido de extremo a extremo en la German Industrial AI Cloud, el modelo activa solo 3 mil millones de sus 30 mil millones de parámetros por token para mantener una caché de inferencia casi constante a medida que crece el contexto.

  • Preentrenado con aproximadamente 27 billones de tokens con datos alemanes sobreponderados, Soofi S iguala a los modelos densos de 14 a 27B en benchmarks agregados de inglés y alemán.
  • Logra los mejores agregados de código en ambos idiomas entre 17 modelos base abiertos y supera a todas las líneas base soberanas europeas en comparaciones.
  • Entre los modelos totalmente abiertos, obtiene las puntuaciones más altas de evaluación en inglés y alemán, por delante de Olmo 3 32B y Apertus 70B.
  • El lanzamiento incluye pesos, puntos de control intermedios seleccionados, contabilidad completa de datos por fuente, hiperparámetros y código de entrenamiento y evaluación bajo términos altamente permisivos.

El modelo ofrece una ventaja decisiva de rendimiento sobre los modelos densos para despliegues de alto contexto y alta concurrencia, proporcionando transparencia completa a través de artefactos de construcción de datos de acceso abierto.