Deutsche Telekom은 독일어와 영어를 위해 설계된 주권 기반 오픈소스 Mixture-of-Experts 하이브리드 Mamba Transformer 파운데이션 모델인 Soofi S 30B-A3B를 출시했습니다. 독일 산업 AI 클라우드에서 엔드투엔드로 구축된 이 모델은 컨텍스트가 증가해도 거의 일정한 추론 캐시를 유지하기 위해 토큰당 300억 파라미터 중 30억만 활성화합니다.
- 약 27조 개의 토큰으로 독일어 데이터를 가중치 부여하여 사전 학습된 Soofi S는 영어와 독일어 벤치마크 집계에서 밀집(Dense) 14B~27B 모델과 동등한 성능을 보입니다.
- 17개 오픈 베이스 모델 중 양국어 코드 집계에서 최고치를 달성하며 모든 유럽 주권 기반라인을 압도합니다.
- 완전 오픈 모델 중 영어와 독일어 평가 점수에서 Olmo 3 32B 및 Apertus 70B를 제치고 1위를 기록했습니다.
- 릴리스에는 가중치, 선택된 중간 체크포인트, 전체 소스별 데이터 내역, 하이퍼파라미터, 그리고 매우 관대한 라이선스 하의 학습 및 평가 코드가 포함됩니다.
이 모델은 긴 컨텍스트와 높은 동시성 배포 시 밀집 모델보다 결정적인 처리량 이점을 제공하며, 오픈 액세스 데이터 구축 아티팩트를 통해 포괄적인 투명성을 제공합니다.