Aleph-Alpha telah merilis Kolibri-1, sebuah model bahasa besar yang tersedia di Hugging Face di bawah lisensi Apache 2.0.

  • Model ini berisi 78 miliar parameter total dengan 3,46 miliar parameter aktif.
  • Mendukung jendela konteks hingga 1 juta token.
  • Laporan teknis yang merinci arsitektur dan pelatihan model tersedia dari Aleph-Alpha.

Rilis ini menyediakan opsi bobot terbuka bagi pengguna yang memerlukan kemampuan konteks panjang.