作者认为，从单GPU升级到双GPU带来的更大收益来自于并行处理，而非启用更大、更高质量模型量化版本的能力。对于编码任务，Q4与Q6/Q8量化之间的质量差异微乎其微，因此更大的上下文窗口和吞吐量更有价值。

  • 该设置使用Qwen 27B模型作为编排器，利用其广泛的上下文来管理拆分的子任务。
  • 子代理（如Qwen 35B-A3B）在其115k上下文限制内处理狭窄的任务，并在终止前汇报结果。
  • 这种架构允许三个代理并行运行，与单个模型相比显著提高了整体吞吐量。
  • 通过让子代理保持活跃以执行特定且定义明确的任务，系统避免了频繁的模型卸载和压缩。

这种方法比在不足的硬件上尝试运行大型100B+模型更具实际价值，仅将SOTA闭源模型保留用于偶尔的专家审查。