turboquant v0.3.0 memperbaiki bug presisi fp16 P100 di llama.cpp

Proyek turboquant telah merilis versi 0.3.0, yang mencakup patch tiga baris yang memperbaiki masalah presisi lama-standing dalam kode CUDA llama.cpp yang memengaruhi GPU Tesla P100.

• Perbaikan ini memperluas pengecualian yang ada untuk arsitektur sm_61 agar mencakup sm_60 (Pascal P100), memaksa matematika fp16 yang benar alih-alih jalur buggy sebelumnya.
• Benchmarking pada Qwen3.6-27B menunjukkan divergensi KL median meningkat dari 0,0023 menjadi 0,000001, dengan kesepakatan token teratas naik dari 96,5% menjadi 99,9%.
• Benchmark kinerja menunjukkan kecepatan decode meningkat sekitar 1,4%, sementara prefill tetap identik dalam batas noise.
• Patch ini diverifikasi tidak memiliki efek pada arsitektur lain seperti Volta, Ampere, atau Blackwell, yang menggunakan kernel berbeda.

Pembaruan ini secara signifikan meningkatkan akurasi dan nilai Tesla P100 untuk inferensi LLM lokal, mengatasi bug yang sebelumnya menurunkan kualitas output tanpa memberikan manfaat kinerja.