Aleph Alphaは、バイリンガルの英語とドイツ語タスク向けに設計されたオープンウェイトのMixture-of-Experts言語モデルであるKolibri-1をリリースしました。このモデルは781億個の総パラメータを持ちますが、トークンごとに34.6億個のみがアクティブになり、単一のB200、B300、またはH200 GPUで実行することができます。

  • Kolibriは、スライディングウィンドウとフルアテンションレイヤーを組み合わせたハイブリッドアテンションアーキテクチャを使用して、最大1,048,576トークンのコンテキストをサポートします。
  • 24兆個のトークンでトレーニングされ、そのうち2兆個以上は厳選されたドイツ語トークンを含み、その後、教師ありファインチューニングと強化学習が行われました。
  • このモデルは、英語（75.5）とドイツ語（70.8）のベンチマークで競合他社の中でトップスコアを達成し、GPQA Diamondでは84.3という首位を獲得しました。
  • 重みはHugging Face上でApache 2.0ライセンスの下で公開されており、公共行政などの規制された分野での主権的なデプロイメント向けに最適化されています。

今回のリリースは、AI法やGDPRなどのEU規制への準拠を目指し、データ主権と高性能な推論を必要とする業界向けのデプロイ可能なソリューションを提供します。