A Deutsche Telekom lançou o Soofi S 30B-A3B, um modelo base híbrido Mixture-of-Experts com Mamba Transformer, soberano e de código aberto, projetado para alemão e inglês. Construído de ponta a ponta na German Industrial AI Cloud, o modelo ativa apenas 3 bilhões de seus 30 bilhões de parâmetros por token para manter um cache de inferência quase constante à medida que o contexto cresce.
- Pré-treinado com aproximadamente 27 trilhões de tokens com dados alemães sobreponderados, o Soofi S iguala modelos densos de 14 a 27B em benchmarks agregados de inglês e alemão.
- Ele alcança os melhores agregados de código em ambos os idiomas entre 17 modelos base abertos e supera todas as linhas de base soberanas europeias nas comparações.
- Entre os modelos totalmente abertos, ele obtém as maiores pontuações de avaliação em inglês e alemão, à frente do Olmo 3 32B e do Apertus 70B.
- O lançamento inclui pesos, checkpoints intermediários selecionados, contabilidade completa de dados por fonte, hiperparâmetros e código de treinamento e avaliação sob termos altamente permissivos.
O modelo oferece uma vantagem decisiva de throughput sobre modelos densos para implantação de alto contexto e alta concorrência, fornecendo transparência abrangente por meio de artefatos de construção de dados de acesso aberto.