Deutsche Telekom은 독일어와 영어에 최적화된 주권 기반 오픈소스 Mixture-of-Experts 파운데이션 모델인 Soofi S 30B-A3B를 출시했습니다. German Industrial AI Cloud 위에서 구축된 이 모델은 컨텍스트가 증가해도 거의 일정한 추론 캐시를 유지하기 위해 토큰당 300억 개의 파라미터 중 30억 개만 활성화합니다.
- 독일어 데이터를 가중치하여 약 27조 토큰으로 사전 학습됨.
- 집계된 영어 및 독일어 벤치마크에서 14억~27억 파라미터의 밀집 모델과 동등한 성능.
- 17개 오픈 베이스 모델 중 두 언어 모두 코드 평가에서 최고 점수 달성.
- 훨씬 더 많은 활성화 파라미터를 가진 모델을 포함한 모든 유럽 주권 기반라인을 능가.
- Olmo 3 32B 및 Apertus 70B에 앞서 완전히 오픈된 모델 중 영어 및 독일어 평가 점수에서 최상위 기록.
릴리스에는 매우 관대한 조건 하의 가중치, 중간 체크포인트, 데이터 계정 정보, 하이퍼파라미터 및 학습 코드가 포함됩니다.