Seorang pengguna melakukan benchmark throughput multi-agen Open Code menggunakan RTX 5090 dan Qwen3.6 35B melalui LM Studio, menemukan bahwa menjalankan setidaknya empat agen paralel mencegah hilangnya setengah dari potensi kinerja.
- Agen tunggal mencapai 245,77 token gabungan per detik (t/s), sedangkan delapan agen hanya menghasilkan 533,90 t/s, mewakili peningkatan 2,2x daripada penskalaan linier.
- Kecepatan individu agen turun tajam dari 256,54 t/s menjadi 67,22 t/s saat komputasi GPU dibagi di antara tugas-tugas.
- Efisiensi puncak sebesar 70,4% terjadi pada dua agen, tetapi turun menjadi 27,2% pada delapan agen karena biaya cache KV dan overhead.
- Bottleneck diidentifikasi sebagai ekspansi cache KV (8x untuk delapan agen) daripada pembagian ukuran konteks.
Penulis merekomendasikan untuk mengatur agen paralel menjadi empat atau lima di Open Code guna memaksimalkan peningkatan throughput tanpa overhead VRAM yang berlebihan atau hasil yang semakin menurun.