あるユーザーは、KVarN構造化KVキャッシュ量子化手法をPrismMLのBonsaiランタイムに移行することに成功し、限られたメモリを持つハードウェア上でBonsai-Ternary-27Bモデルを効率的に実行可能にしました。

  • この実装により、生成速度が68%向上（43 tok/sから73 tok/s）し、120KコンテキストでVRAM使用量が3.3GB削減されました。
  • 総VRAM消費量は約13.1GBから9.8GBに減少し、モデルが10GB未満の制限内に収まるようになりました。
  • KVarNは量子化の前にウォルシュ・アダマール変換とSinkhorn分散バランスを適用し、平坦な量子化手法よりも品質をよりよく維持します。
  • この手法はTurboQuantと比較して保持重視のユースケースにおいて有望であるとされていますが、DFlashとの互換性を壊します。

このアプローチにより、長いコンテキスト長で密集モデルを実行しているユーザーは、大きな精度の低下なしに低いVRAM制約内にモデルを収めることができます。