llama.cpp menambal decoding MTP untuk GPU pra-Ampere

Sebuah tambalan pada backend CUDA llama.cpp memperbaiki crash dalam prediksi multi-token (MTP) pada GPU pra-Ampere dengan menambahkan pemeriksaan kemampuan yang kuat. Pembaruan ini memastikan BF16 hanya digunakan ketika didukung, dan beralih ke FP16 atau FP32 untuk arsitektur lama seperti Kepler.

• Memperbaiki crash cuBLAS yang disebabkan oleh pemilihan komputasi BF16 yang salah pada perangkat keras yang tidak didukung.
• Mengimplementasikan rantai fallback: BF16 jika didukung, FP16 jika cepat, jika tidak maka FP32.
• Diuji dengan Qwen3.6 35B A3B q4xl pada empat GPU Tesla K40c (Kepler).
• Kinerja dengan MTP diaktifkan mencapai ~25 tok/s dibandingkan dengan ~22 tok/s secara default dan ~17.5 tok/s dengan MTP dinonaktifkan.

Perubahan ini memungkinkan decoding MTP berfungsi dengan benar pada kartu lama tanpa memengaruhi GPU yang lebih baru.