Aleph-Alpha выпустила Kolibri-1, большую языковую модель, доступную на Hugging Face под лицензией Apache 2.0.
- Модель содержит 78 миллиардов общих параметров и 3,46 миллиарда активных параметров.
- Она поддерживает контекстное окно до 1 миллиона токенов.
- Технический отчет, описывающий архитектуру и обучение модели, доступен от Aleph-Alpha.
Выпуск предоставляет вариант с открытыми весами для пользователей, нуждающихся в возможностях длинного контекста.