Evaluasi kemampuan agentic menunjukkan bahwa model Qwen3.6-27B yang tidak dituned berhasil menyelesaikan semua tugas yang diuji menggunakan 6-9 panggilan alat, sedangkan Nemotron Puzzle-75B yang dituned memerlukan prompt yang disesuaikan secara manual dan jumlah giliran yang jauh lebih banyak untuk lulus.
- Qwen3.6-27B (INT8-AutoRound) lulus setiap tugas agentic dengan 134-190 detik per tugas menggunakan prompt sistem netral.
- Nemotron Puzzle-75B (NVFP4) tidak dapat diandalkan tanpa penyesuaian manual, memerlukan 13-23 panggilan dan 221-384 detik untuk lulus.
- Penulis mencatat bahwa jumlah giliran yang lebih sedikit lebih kritis untuk kinerja agen daripada kecepatan decode token mentah.
- Masalah caching prefix diidentifikasi sebagai penyebab potensial dari kegagalan awal dengan payload yang identik.
Hasil-hasil tersebut menunjukkan bahwa untuk alur kerja agentic, efisiensi dalam penggunaan alat mengungguli keuntungan dari ukuran model yang lebih besar atau throughput yang lebih tinggi.