Deutsche Telekom выпустила Soofi S 30B-A3B, суверенную модель с открытым исходным кодом типа Mixture-of-Experts, оптимизированную для немецкого и английского языков. Модель, созданная на базе German Industrial AI Cloud, активирует только 3 миллиарда из своих 30 миллиардов параметров на токен, чтобы поддерживать почти постоянный кэш вывода при увеличении контекста.
- Предварительно обучена примерно на 27 триллионах токенов с повышенным весом немецких данных.
- Показывает результаты, сопоставимые с плотными моделями от 14 до 27B в совокупных бенчмарках для английского и немецкого языков.
- Демонстрирует лучшие совокупные результаты по коду среди обоих языков в сравнении с 17 открытыми базовыми моделями.
- Превосходит все европейские суверенные базовые модели, включая те, у которых значительно больше активных параметров.
- Показывает наивысшие оценки для английского и немецкого языков среди полностью открытых моделей, опережая Olmo 3 32B и Apertus 70B.
В релиз включены веса, промежуточные контрольные точки, учёт данных, гиперпараметры и код обучения под крайне разрешительной лицензией.