Aleph-Alphaは、Apache 2.0ライセンスの下でHugging Faceで利用可能な大規模言語モデル「Kolibri-1」をリリースしました。

  • このモデルは780億の総パラメータと34億6千万のアクティブパラメータを含みます。
  • 最大100万トークンのコンテキストウィンドウをサポートします。
  • モデルのアーキテクチャとトレーニングの詳細を含む技術レポートがAleph-Alphaから提供されています。

このリリースは、長期コンテキスト機能が必要なユーザー向けにオープンウェイトオプションを提供します。