一位用户报告称,通过将 Ornith-1.0-35B 模型作为草稿模型与 Qwen3.6-35B-A3B-DFlash 搭配使用 llama-server,实现了 30-40% 的令牌生成速度提升。
- 配置使用 Ornith-1.0-35B-GGUF (Q8_0) 作为推测草稿模型,通过 `--spec-type draft-dflash` 标志启用。
- 在包含混合 JavaScript 代码和维基百科文本的 50k 上下文中进行测试,获得了 80% 的令牌接受率。
- 该设置涉及使用特定的上下文长度、温度和草稿步骤参数运行 llama-server。
虽然这种组合提高了生成速度,但代价是提示处理时间显著变慢,因此它并非通用解决方案。