Aleph Alpha a publié Kolibri-1, un modèle de langage à experts mixtes (Mixture-of-Experts) à poids ouverts conçu pour des tâches bilingues en anglais et en allemand. Le modèle compte 78,1 milliards de paramètres au total mais n'en active que 3,46 milliards par token, ce qui lui permet de fonctionner sur un seul GPU B200, B300 ou H200.
- Kolibri prend en charge jusqu'à 1 048 576 tokens de contexte grâce à une architecture d'attention hybride combinant des couches à fenêtre glissante et des couches à attention complète.
- Il a été entraîné sur 24 billions de tokens, dont plus de 2 billions de tokens allemands curatés, suivi d'un affinage supervisé (SFT) et d'un apprentissage par renforcement.
- Le modèle obtient les meilleurs scores parmi ses concurrents dans les benchmarks anglais (75,5) et allemand (70,8), menant le benchmark GPQA Diamond avec 84,3.
- Les poids sont disponibles sous licence Apache 2.0 sur Hugging Face, optimisés pour un déploiement souverain dans des secteurs réglementés comme l'administration publique.
Cette publication vise la conformité aux réglementations de l'UE telles que l'AI Act et le RGPD, offrant une solution déployable pour les industries nécessitant la souveraineté des données et des capacités de raisonnement haute performance.