DeepSeek V4 Flash UD-Q2_K_XL 量化在 RTX 4090 配合 llama.cpp 上运行

一位用户报告称，通过 llama.cpp 在配备 128 GB DDR5 RAM 的 RTX 4090 上使用 unsloth 的 UD-Q2_K_XL 量化运行 DeepSeek V4 Flash 模型。该设置实现了每秒 10.9 个 token 的生成速度，作者认为这对于代理任务来说是合理的，尽管比 Qwen 3.6 27B 慢。

• 在 Intel Core Ultra 7 270k CPU 上固定物理核心将推理速度从 6.8 倍增至 11 tok/s。
• 禁用 flash attention (`-fa off`) 并调整上下文量化是防止 CUDA 缓冲区溢出的必要措施。

IQ4_NL 量化变体太慢（8.1 t/s）且仅限于 10k 上下文窗口。

作者建议，经过进一步优化，此配置有可能为拥有 24GB GPU 的用户取代 Qwen 3.6 27B。