Aleph-Alpha는 Apache 2.0 라이선스 하에 Hugging Face에서 사용할 수 있는 대규모 언어 모델인 Kolibri-1을 출시했습니다.

  • 이 모델은 총 780억 개의 파라미터와 34억 6천만 개의 활성 파라미터를 포함합니다.
  • 최대 100만 토큰의 컨텍스트 윈도우를 지원합니다.
  • 모델의 아키텍처와 훈련을 상세히 설명하는 기술 보고서는 Aleph-Alpha에서 제공됩니다.

이 릴리스는 긴 컨텍스트 기능이 필요한 사용자를 위해 오픈 가중치 옵션을 제공합니다.