一位用户发布了 Juud_engine，这是 Strata v0.1.39 的一个实验性 MIT 许可证分支，旨在在 RTX 4090 等消费级硬件上对 Qwen3.6-27B 模型进行本地推理。该项目引入了两个可选的 CPU 端解码更改：CPU 专家批次后的缩短工作线程自旋，以及对于完全路由到 GPU 的令牌跳过 CPU 激活量化。

  • 在 i7-13700 和 RTX 4090 上的基准测试显示，在不同上下文长度下，配对解码吞吐量的中位数提升为 3.1–9.1%，延迟改善为 0.5–5.6%。
  • 另一组使用不同缓存设置的对照运行报告了更高的吞吐量增益 9.6–15.6%，尽管输出一致性因测试配置而异。
  • 该仓库包含源代码差异、构建说明、模型哈希值以及用于独立复现的验证脚本。

作者邀请对基准测试方法论提供反馈，并请求独立复现以验证性能声明。