독일 텔레콤은 독일어와 영어를 위해 설계된 주권 기반 오픈소스 Mixture-of-Experts (MoE) 하이브리드 Mamba Transformer 파운데이션 모델인 Soofi S 30B-A3B를 출시했습니다. 이 모델은 독일 산업 AI 클라우드에서 엔드투엔드로 구축되었습니다.
- 컨텍스트가 증가해도 추론 캐시를 거의 일정하게 유지하면서 토큰당 30B 파라미터 중 3B만 활성화하여 밀집 모델보다 처리량 이점을 제공합니다.
- 약 27조 개의 토큰으로 사전 학습되었으며 독일어 데이터에 가중치가 부여되어 집계 벤치마크에서 14~27B 밀집 모델과 동등한 성능을 달성합니다.
- Soofi S는 17개의 오픈 베이스 모델 중 두 언어 모두에서 코드 집계 점수가 가장 높으며 모든 유럽 주권 기반라인을 능가합니다.
- 완전히 오픈된 모델 중 영어 및 독일어 평가 점수에서 Olmo 3 32B와 Apertus 70B보다 앞서 있습니다.
릴리스에는 가중치, 선택된 중간 체크포인트, 전체 소스별 데이터 계정 정보, 하이퍼파라미터, 그리고 매우 관대한 조건 하의 학습 및 평가 코드가 포함됩니다.