Deutsche Telekom выпустила Soofi S 30B-A3B, суверенную, открытую гибридную Mamba Transformer базовую модель с механизмом Mixture-of-Experts (MoE), предназначенную для немецкого и английского языков. Модель разработана полностью в рамках German Industrial AI Cloud.

  • Она активирует только 3B из 30B параметров на токен, сохраняя кэш вывода почти постоянным при увеличении контекста, что обеспечивает преимущество в пропускной способности по сравнению с плотными моделями.
  • Обучена примерно на 27 триллионах токенов с повышенным весом немецких данных, она демонстрирует результаты, сопоставимые с плотными моделями от 14 до 27B параметров, по совокупности бенчмарков.
  • Soofi S показывает лучшие результаты в коде на обоих языках среди 17 открытых базовых моделей и превосходит все европейские суверенные базовые модели.
  • Она получает самые высокие оценки на английском и немецком языках среди полностью открытых моделей, опережая Olmo 3 32B и Apertus 70B.

В релиз включены веса, выбранные промежуточные контрольные точки, полный учет данных по каждому источнику, гиперпараметры, а также код обучения и оценки на условиях высокой разрешительной лицензии.