Penulis berargumen bahwa peningkatan dari satu GPU ke dua GPU memberikan manfaat lebih besar melalui pemrosesan paralel daripada memungkinkan penggunaan kuantisasi model yang lebih besar dan berkualitas lebih tinggi. Untuk tugas pengkodean, perbedaan kualitas antara kuantisasi Q4 dan Q6/Q8 sangat minimal, sehingga jendela konteks yang lebih luas dan throughput menjadi lebih berharga.
- Pengaturan menggunakan model Qwen 27B sebagai orkestrator dengan konteks ekstensif untuk mengelola sub-tugas yang terbagi.
- Subagen, seperti Qwen 35B-A3B, menangani tugas sempit dalam batas konteks 115k mereka dan melaporkan kembali sebelum terminasi.
- Arsitektur ini memungkinkan tiga agen berjalan secara paralel, secara signifikan meningkatkan throughput keseluruhan dibandingkan dengan satu model.
- Sistem menghindari pelepasan model dan kompresi yang sering dengan menjaga subagen tetap aktif untuk tugas-tugas spesifik dan terdefinisi dengan baik.
Pendekatan ini memberikan nilai praktis lebih besar daripada mencoba menjalankan model besar 100B+ pada perangkat keras yang tidak memadai, hanya menyisihkan model tertutup SOTA untuk tinjauan ahli sesekali.