Deutsche Telekomは、ドイツ語と英語を対象とした主権ベースのオープンソースMixture-of-ExpertsハイブリッドMamba Transformer基盤モデルであるSoofi S 30B-A3Bをリリースしました。ドイツ産業用AIクラウド上でエンドツーエンドに構築され、このモデルはコンテキストが拡大してもほぼ一定の推論キャッシュを維持するために、トークンごとに300億パラメータのうち30億のみをアクティブにします。

  • ドイツ語データを重み付けして約27兆トークンで事前学習されたSoofi Sは、英語とドイツ語のベンチマーク集計において140億〜270億パラメータの密モデルと同等のパフォーマンスを示します。
  • 17種類のオープンベースモデルの中で両言語のコード集計で最高の結果を達成し、比較対象となったすべての欧州主権ベースラインを上回ります。
  • 完全オープンモデルの中では英語とドイツ語の評価スコアで最高値を記録し、Olmo 3 32BやApertus 70Bを抑えて首位となりました。
  • リリースには重み、選択された中間チェックポイント、完全なソース別データ内訳、ハイパーパラメータ、そして非常に寛容なライセンスの下でのトレーニングおよび評価コードが含まれています。

このモデルは、長文コンテキストと高同時実行のデプロイメントにおいて密モデルよりも決定的なスループット優位性を持ち、オープンアクセスのデータ構築アーティファクトを通じて包括的な透明性を提供します。