Aleph Alpha telah merilis Kolibri-1, sebuah model bahasa Mixture-of-Experts bobot terbuka yang dirancang untuk tugas bilingual bahasa Inggris dan Jerman. Model ini memiliki 78.1 miliar parameter total tetapi hanya mengaktifkan 3.46 miliar per token, memungkinkannya berjalan pada satu GPU B200, B300, atau H200.
- Kolibri mendukung hingga 1.048.576 token konteks menggunakan arsitektur perhatian hibrida dengan lapisan sliding-window dan full-attention.
- Model ini dilatih pada 24 triliun token, termasuk lebih dari 2 triliun token bahasa Jerman yang dikurasi, diikuti oleh fine-tuning terawasi dan pembelajaran penguatan.
- Model ini meraih skor tertinggi di antara pesaingnya dalam benchmark bahasa Inggris (75.5) dan bahasa Jerman (70.8), memimpin GPQA Diamond dengan 84.3.
- Bobot tersedia di bawah lisensi Apache 2.0 di Hugging Face, dioptimalkan untuk penyebaran berdaulat di sektor yang diatur seperti administrasi publik.
Rilis ini menargetkan kepatuhan terhadap regulasi Uni Eropa seperti AI Act dan GDPR, menawarkan solusi yang dapat disebarluaskan untuk industri yang membutuhkan kedaulatan data dan penalaran berkinerja tinggi.