ドイツテレコムは、ドイツ語と英語を対象とした主権ベースのオープンソースなMixture-of-Experts (MoE) ハイブリッドMamba Transformer基盤モデルであるSoofi S 30B-A3Bをリリースしました。このモデルはドイツ産業用AIクラウド上でエンドツーエンドで構築されました。

  • コンテキストが拡大しても推論キャッシュをほぼ一定に保ちながら、トークンごとに30Bパラメータのうち3Bのみを活性化し、密なモデルよりもスループットの優位性を提供します。
  • 約27兆トークンで事前学習され、ドイツ語データに重みが付けられており、集計ベンチマークにおいて14〜27Bの密なモデルと同等のパフォーマンスを発揮します。
  • Soofi Sは、17つのオープンベースモデルの中で両言語のコード集計で最高の結果を達成し、すべての欧州主権ベースラインを上回ります。
  • 完全にオープンなモデルの中で最高レベルの英語およびドイツ語評価スコアを獲得し、Olmo 3 32BやApertus 70Bよりも優れています。

リリースには、重み、選択された中間チェックポイント、完全なソース別データ集計、ハイパーパラメータ、そして非常に寛容なライセンスの下でのトレーニングおよび評価コードが含まれます。