Quad RTX 5060 Ti 基准测试 Qwen3.6-27B 代码生成仅需 $2K

一位用户针对运行 Qwen3.6-27B 模型的 quad NVIDIA RTX 5060 Ti 配置进行了基准测试，旨在以高上下文窗口支持实现高性价比的代码生成。

该配置在启用 Multi-Token Prediction (MTP) 的情况下，使用 FP16 key-value cache 和 Q8 量化运行模型，以最大化准确性和速度。

在 Vast AI 实例上的测试显示，256K 上下文长度下冷预填充（cold prefill）达到 608 tok/s，解码速度为 52.2 tok/s。 作者将其与双 RTX 3090 和 Mac M5 Max 等替代方案进行了比较，指出 quad 5060 Ti 为密集模型提供了更好的性价比和性能。

在 $2,000 的硬件预算内，此配置为最先进的代码生成提供了出色的推理速度。