Turboderp 发布了 ExLlamaV3 v1.0.0，这是该库经过一年多开发后的首个生产版本。此次更新引入了重大的架构变更和内核优化，旨在提高推理速度并减少依赖。

  • 移除了 flash-attention-2 和 xformers 依赖。
  • 将 tensor-parallel 支持扩展到大多数模型，包括 Gemma4。
  • 引入了带有在线缓存量化的新注意力内核，消除了 KV 量化带来的减速。
  • 为所有 attn/GDN 模块添加了图路径以及新的 conv1d 内核。
  • 大幅提升了 Ampere GPU 上的 GEMM/GEMV 性能，并添加了新的 INT8 GEMV 内核。
  • 实现了新的 MoE 内核任务调度器，并添加了对 GptOssForCausalLM 和 NemotronHForCausalLM 的支持。

此次发布旨在通过这些广泛的优化和错误修复，提供更快的推理能力和更广泛的模型兼容性。