Deutsche Telekomは、ドイツ語と英語に最適化された主権あるオープンソースのMixture-of-ExpertsファウンデーションモデルであるSoofi S 30B-A3Bをリリースしました。German Industrial AI Cloud上で構築され、このモデルはコンテキストが拡大してもほぼ一定の推論キャッシュを維持するため、トークンごとに300億パラメータのうち30億個のみを活性化します。

  • ドイツ語データを重み付けして約27兆トークンで事前学習済み。
  • 英語とドイツ語のベンチマーク集計において14億から27億パラメータの密集モデルに匹敵。
  • 17種類のオープンベースモデルの中で、両言語のコード評価で最高スコアを達成。
  • はるかに多くのアクティブパラメータを持つものを含む、すべての欧州主権ベースラインを上回る。
  • Olmo 3 32BやApertus 70Bに先行し、完全にオープンなモデルの中で英語とドイツ語の評価スコアで最高位を獲得。

リリースには、非常に寛容なライセンス条項の下での重み、中間チェックポイント、データ開示、ハイパーパラメータ、およびトレーニングコードが含まれます。