Deutsche Telekom выпустила Soofi S 30B-A3B, суверенную, открытую гибридную модель Mixture-of-Experts на основе Mamba Transformer, предназначенную для немецкого и английского языков. Модель построена с нуля в облаке German Industrial AI Cloud и активирует только 3 миллиарда из своих 30 миллиардов параметров на токен, чтобы поддерживать почти постоянный кэш вывода при увеличении контекста.

  • Предобучена примерно на 27 триллионах токенов с повышенным весом немецких данных; Soofi S демонстрирует результаты, сопоставимые с плотными моделями от 14 до 27B в совокупных тестах на английском и немецком языках.
  • Она показывает лучшие результаты по коду на обоих языках среди 17 открытых базовых моделей и превосходит все европейские суверенные базовые модели в сравнениях.
  • Среди полностью открытых моделей она получает самые высокие оценки на английском и немецком языках, опережая Olmo 3 32B и Apertus 70B.
  • Выпуск включает веса, выбранные промежуточные контрольные точки, полный учет данных по каждому источнику, гиперпараметры, а также код обучения и оценки под крайне разрешительными условиями.

Модель предлагает решающее преимущество в пропускной способности перед плотными моделями для развертывания с длинным контекстом и высокой конкурентностью, обеспечивая при этом полную прозрачность через открытые артефакты построения данных.