A Deutsche Telekom lançou o Soofi S 30B-A3B, um modelo base soberano e de código aberto do tipo Mixture-of-Experts (MoE) híbrido Mamba Transformer, projetado para alemão e inglês. O modelo foi construído de ponta a ponta na German Industrial AI Cloud.
- Ele ativa apenas 3B dos 30B parâmetros por token enquanto mantém o cache de inferência quase constante à medida que o contexto cresce, proporcionando uma vantagem de throughput em relação aos modelos densos.
- Pré-treinado com aproximadamente 27 trilhões de tokens com dados alemães sobreponderados, ele iguala os modelos densos de 14 a 27B em benchmarks agregados.
- O Soofi S alcança as melhores agregações de código em ambos os idiomas entre 17 modelos base abertos e supera todas as bases soberanas europeias.
- Ele obtém as maiores pontuações de avaliação em inglês e alemão entre os modelos totalmente abertos, à frente do Olmo 3 32B e do Apertus 70B.
O lançamento inclui pesos, checkpoints intermediários selecionados, contabilidade completa de dados por fonte, hiperparâmetros e código de treinamento e avaliação sob termos altamente permissivos.