开发者 liventruth 开源了统一潜在状态内存织物（UL-SMF），这是一种软硬件协同设计的架构，利用有限标量量化（FSQ）将标准 FP32 键值缓存压缩至 16 维离散潜在空间。

  • 实现 384x 压缩比，将 48 MB 的 FP32 块缩减至 0.12 MB。
  • 在真实 LLM 注意力张量上保持 94.15% - 95.84% 的余弦相似度以维持语义保留。
  • 在端到端 CUDA 事件验证中，管道延迟约为 14.1 ms 至 19.6 ms。
  • 提供自包含的 Python 包，允许用户通过两行代码对标准 Transformer 注意力层进行猴子补丁。

UL-SMF 旨在通过将 FSQ 与动态潜在映射相结合来解决长上下文 Transformer 推理中的内存瓶颈，并在 AGPLv3 许可下提供双授权，同时提供商业选项。