本文展示了使用两张 NVIDIA P102-100 显卡运行 Qwen3.6-35B-A3B 模型，这两张卡合计成本约为 100 美元。该配置提供 20GB VRAM 和 448GB/s 的内存带宽。
- 系统支持最多 3 名并发用户，上下文窗口可达 32768 个 token。
- 测试期间推理速度达到约每秒 23.5 个 token。
- 该配置利用 llama.cpp 管理模型加载以及在两张 GPU 之间的槽位分配。
这种方法为本地运行大型语言模型提供了一种低成本替代方案，相比具有较少 VRAM 的更便宜显卡，它提供了更快的速度和更大的上下文容量。