Aleph-Alpha telah merilis Kolibri-1, sebuah model bahasa besar yang tersedia di Hugging Face di bawah lisensi Apache 2.0.
- Model ini berisi 78 miliar parameter total dengan 3,46 miliar parameter aktif.
- Mendukung jendela konteks hingga 1 juta token.
- Laporan teknis yang merinci arsitektur dan pelatihan model tersedia dari Aleph-Alpha.
Rilis ini menyediakan opsi bobot terbuka bagi pengguna yang memerlukan kemampuan konteks panjang.