A Deutsche Telekom lançou o Soofi S 30B-A3B, um modelo base soberano de Mixture-of-Experts de código aberto, otimizado para alemão e inglês. Construído na German Industrial AI Cloud, o modelo ativa apenas 3 bilhões de seus 30 bilhões de parâmetros por token para manter um cache de inferência quase constante à medida que o contexto cresce.
- Pré-treinado em aproximadamente 27 trilhões de tokens com dados alemães sobremostrados.
- Igual aos modelos densos de 14 a 27B em benchmarks agregados de inglês e alemão.
- Alcança as melhores agregações de código em ambos os idiomas entre 17 modelos base abertos.
- Supera todas as bases soberanas europeias, incluindo aquelas com muito mais parâmetros ativos.
- Obtém as maiores pontuações de avaliação em inglês e alemão entre modelos totalmente abertos, à frente do Olmo 3 32B e Apertus 70B.
O lançamento inclui pesos, checkpoints intermediários, contabilidade de dados, hiperparâmetros e código de treinamento sob termos altamente permissivos.