RaBitQCache 使用旋转二进制量化实现长上下文 LLM 高效推理

RaBitQCache 是一种新颖的稀疏注意力框架，旨在解决长上下文大型语言模型（LLM）推理中键值（KV）缓存的内存和计算瓶颈。它利用随机旋转二进制量化和高吞吐量二进制-INT4算术来高效估计注意力权重。

• 该方法采用具有已证明误差界的无偏代理分数，以实现自适应 Top-p 检索，根据实际注意力稀疏性动态调整令牌预算。
• 硬件感知的系统实现结合了异步流水线处理和延迟更新，以掩盖计算开销。
• 评估表明，与最先进的基线相比，RaBitQCache 显著加速了推理过程并减少了内存 I/O，同时保持了生成质量。

该方法为静态固定预算检索或计算昂贵的代理分数提供了更高效的替代方案，在不牺牲输出质量的情况下提升了性能。