Aleph Alpha는 다국어 영어 및 독일어 작업을 위해 설계된 오픈 가중치 Mixture-of-Experts 언어 모델인 Kolibri-1을 출시했습니다. 이 모델은 총 781억 개의 파라미터를 가지고 있지만 토큰당 34억 6천만 개만 활성화되어 단일 B200, B300 또는 H200 GPU에서 실행할 수 있습니다.
- Kolibri는 슬라이딩 윈도우와 전체 주의 레이어가 혼합된 주의 구조를 사용하여 최대 1,048,576개의 컨텍스트 토큰을 지원합니다.
- 이 모델은 24조 개의 토큰으로 학습되었으며, 그중 2조 개 이상의 선별된 독일어 토큰이 포함되었고, 이후 지도 미세 조정과 강화 학습이 이어졌습니다.
- 이 모델은 영어(75.5)와 독일어(70.8) 벤치마크에서 경쟁사 중 최상위 점수를 달성했으며, GPQA Diamond에서는 84.3점으로 선두를 차지했습니다.
- 가중치는 Apache 2.0 라이선스 하에 Hugging Face에서 제공되며, 공공 행정과 같은 규제된 섹터에서의 주권적 배포를 위해 최적화되었습니다.
이 출시물은 AI Act 및 GDPR과 같은 EU 규정 준수를 목표로 하며, 데이터 주권성과 고성능 추론이 필요한 산업들을 위한 배포 가능한 솔루션을 제공합니다.