用户通过LM Studio使用RTX 5090和Qwen3.6 35B对Open Code的多智能体吞吐量进行基准测试,发现运行至少四个并行智能体可避免损失一半的潜在性能。

  • 单个智能体达到每秒245.77个组合令牌(t/s),而八个智能体仅产生533.90 t/s,代表增加了2.2倍而非线性扩展。
  • 随着GPU计算资源在任务间分配,单个智能体的速度从256.54 t/s急剧下降到67.22 t/s。
  • 两个智能体时达到70.4%的峰值效率,但由于KV cache和开销成本,八个智能体时降至27.2%。
  • 瓶颈被确定为KV cache扩展(八个智能体时为8倍),而非上下文大小分割。

作者建议在Open Code中将并行智能体数量设置为四个或五个,以在不造成过多VRAM开销或收益递减的情况下最大化吞吐量增益。