Benchmark membandingkan mesin decoding spekulatif untuk Qwen 3.6-27B pada RTX 3090

Seorang pengguna melakukan benchmarking terhadap lima fork dan varian llama.cpp menggunakan model Qwen 3.6-27B pada satu RTX 3090 untuk mengevaluasi kinerja decoding spekulatif.

• ik_llama dengan MTP yang dituning oleh ubergarm mencapai kecepatan narasi tertinggi sebesar 63,9 TPS, sedangkan varian ngram+MTP-nya mencapai 87,8 TPS untuk generasi kode.
• beellama menggunakan DFlash dengan model draf independen mencatatkan throughput kode tertinggi sebesar 96,8 TPS tetapi mengalami TTFT tinggi sebesar 504ms.
• Mainline llama.cpp menawarkan TTFT terendah (288ms) dan mempertahankan kecepatan konsisten di berbagai panjang konteks, tidak seperti fork-fork yang menunjukkan degradasi signifikan.
• Spiritbuun memberikan konsistensi kuat dengan hanya degradasi konteks -9%, sementara LUCEBOX berkinerja buruk di seluruh metrik.

Hasil-hasil ini menyoroti pertukaran antara throughput mentah, waktu hingga token pertama, dan stabilitas konteks saat memilih mesin untuk inferensi lokal.