Deutsche Telekom发布了Soofi S 30B-A3B，这是一款专为德语和英语设计的、主权的、开源的混合专家（MoE）混合Mamba Transformer基础模型。该模型是在German Industrial AI Cloud上端到端构建的。

  • 它每个token仅激活30B参数中的3B，同时在上下文增长时保持推理缓存近乎恒定，从而相比稠密模型提供吞吐量优势。
  • 在约27万亿个token上进行预训练，并提高了德语数据的权重，其在综合基准测试中的表现与14B至27B参数的稠密模型相当。
  • Soofi S在两种语言的代码综合评估中均取得最佳成绩，优于17个开源基础模型，并超越了所有欧洲主权基线模型。
  • 在完全开放的模型中，它在英语和德语评估中获得了最高分，领先于Olmo 3 32B和Apertus 70B。

此次发布包括权重、选定的中间检查点、完整的逐源数据核算、超参数以及训练和评估代码，均采用高度宽松的许可条款。