Turboderp telah merilis ExLlamaV3 v1.0.0, versi produksi pertama dari pustaka ini setelah lebih dari satu tahun pengembangan. Pembaruan ini memperkenalkan perubahan arsitektur yang signifikan dan optimisasi kernel yang bertujuan untuk meningkatkan kecepatan inferensi dan mengurangi dependensi.
- Menghapus dependensi flash-attention-2 dan xformers.
- Memperluas dukungan tensor-parallel ke sebagian besar model, termasuk Gemma4.
- Memperkenalkan kernel attention baru dengan kuantisasi cache online yang menghilangkan perlambatan kuantisasi KV.
- Menambahkan jalur grafik untuk semua modul attn/GDN dan kernel conv1d baru.
- Meningkatkan kinerja GEMM/GEMV pada GPU Ampere secara signifikan dan menambahkan kernel INT8 GEMV baru.
- Mengimplementasikan penjadwal tiket kernel MoE baru dan menambahkan dukungan untuk GptOssForCausalLM dan NemotronHForCausalLM.
Rilis ini bertujuan untuk menyediakan kemampuan inferensi yang lebih cepat dan kompatibilitas model yang lebih luas melalui optimisasi ekstensif dan perbaikan bug ini.