研究者が、キーバリュー(KV)キャッシュの必要性を排除することでO(1)の推論時間を実現する新しい大規模言語モデルアーキテクチャであるQllmをリリースしました。100Mパラメータのこのモデルは位相結合性に基づいて構築されており、トランスフォーマーやmambaの構造には依存していません。

  • このモデルは、シーケンス長に関係なく一定時間の推論を可能にするために、位相結合性に基づく新しいアーキテクチャを使用しています。
  • 文法のための初期1Bトークンの事前トレーニングを含む、DCLM、Fineweb、Smoltalk2データセットからの4Bトークンでトレーニングされました。
  • プロジェクトには、qllm-pam-v11-e3k3-chatバリアントのオープンソースコードとHugging Faceチェックポイントが含まれています。

著者たちは、このアーキテクチャがその設計により音声モデルで特に優れたパフォーマンスを発揮する可能性があると仮説を立てていますが、現在は概念実証として位置づけられています。