Aleph Alpha выпустила Kolibri-1, модель языка Mixture-of-Experts с открытыми весами, предназначенную для двуязычных задач на английском и немецком языках. Модель имеет 78,1 миллиарда общих параметров, но активирует только 3,46 миллиарда на токен, что позволяет запускать её на одном GPU B200, B300 или H200.

  • Kolibri поддерживает до 1 048 576 токенов контекста с использованием гибридной архитектуры внимания со скользящим окном и слоями полного внимания.
  • Она обучалась на 24 триллионах токенов, включая более 2 триллионов тщательно отобранных немецких токенов, после чего следовало контролируемое дообучение и обучение с подкреплением.
  • Модель демонстрирует лучшие результаты среди конкурентов в англоязычных (75,5) и немецкоязычных (70,8) бенчмарках, лидируя в GPQA Diamond с результатом 84,3.
  • Веса доступны по лицензии Apache 2.0 на Hugging Face, оптимизированы для суверенного развёртывания в регулируемых секторах, таких как государственное управление.

Выпуск направлен на соответствие нормативным требованиям ЕС, таким как AI Act и GDPR, предлагая готовое решение для отраслей, требующих суверенитета данных и высокопроизводительных рассуждений.