Deutsche Telekom发布了Soofi S 30B-A3B，这是一款专为德语和英语设计的、主权且开源的Mixture-of-Experts混合Mamba Transformer基础模型。该模型在德国工业AI云（German Industrial AI Cloud）上端到端构建，随着上下文的增长，它仅激活300亿参数中的30亿个，以维持近乎恒定的推理缓存。

  • 在约27万亿个token上进行预训练，并提高了德语数据的权重，Soofi S在英语和德语的综合基准测试中与140亿至270亿参数的密集模型表现相当。
  • 在17个开源基础模型中，它在两种语言的代码综合评估中表现最佳，并在比较中优于所有欧洲主权基线模型。
  • 在完全开源的模型中，它获得了最高的英语和德语评估分数，领先于Olmo 3 32B和Apertus 70B。
  • 发布内容包括权重、选定的中间检查点、完整的逐源数据核算、超参数以及在高许可条款下的训练和评估代码。

该模型为长上下文、高并发部署提供了相比密集模型的决定性吞吐量优势，同时通过开放访问的数据构建工件提供了全面的透明度。