開発者のliventruthは、標準的なFP32キーバリューキャッシュを有限スカラー量子化（FSQ）を使用して16次元の離散潜在空間に圧縮するハードウェア・ソフトウェア協調設計アーキテクチャであるUnified Latent-State Memory Fabric (UL-SMF) をオープンソースとして公開しました。

  • 384倍の圧縮率を実現し、48 MBのFP32ブロックを0.12 MBに削減します。
  • 実際のLLMの注意テンソルにおいて、意味保持のために94.15% - 95.84%のコサイン類似度を維持します。
  • エンドツーエンドのCUDAイベント検証において、約14.1 msから19.6 msのパイプラインレイテンシを示します。
  • ユーザーが2行のコードで標準的なTransformerの注意層にモンキーパッチを適用できる自己完結型のPythonパッケージを提供します。

UL-SMFは、FSQと動的潜在マッピングを組み合わせることで、長文脈Transformer推論におけるメモリボトルネックの解決を目指しており、AGPLv3の下でデュアルライセンスされ、商用オプションも利用可能です。