github llama.cpp · 2 jam lalu · inference

llama.cpp b10539 memperbaiki overflow Vulkan FA MMQ dan menambahkan dukungan CUDA 13 untuk Windows

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10539, yang mengatasi masalah stabilitas numerik kritis di backend Vulkan sambil memperluas dukungan perangkat keras untuk pengguna Windows.

Vulkan FA MMQ sekarang menggunakan fp32 untuk perhitungan kuantisasi Q untuk mencegah overflow ketika qd adalah denorm.
Ditambahkan biner Windows x64 untuk CUDA 13 dan dukungan preview untuk Windows arm64 dengan CUDA 13.4.
Termasuk build untuk Ubuntu s390x (CPU), macOS Intel (x64), dan iOS XCFramework.
Dukungan OpenCL Adreno kini tersedia untuk Windows arm64.

Pembaruan ini memastikan kinerja yang andal pada perangkat Vulkan dengan mencegah kesalahan aritmatika dan memberikan pengguna opsi kompatibilitas CUDA 13 terbaru.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10541 menambahkan argumen --mmproj-device untuk proyek multimodal

Proyek llama.cpp merilis build b10541, memperkenalkan argumen baris perintah `--mmproj-device` yang memungkinkan pengguna menentukan backend perangkat untuk memuat file proyeksi multimodal.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b10545 memperbaiki bacaan di luar batas pada matmul Metal untuk K yang bukan kelipatan 32

Proyek llama.cpp merilis build b10545, yang mengatasi bug kritis pada kernel perkalian matriks API tensor backend Metal. Pembaruan ini mencegah perilaku tak terdefinisi dan hasil yang rusak saat memproses tensor di mana dimensi K bukan kelipatan 32.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b10534 menambahkan titik sakelar per-HW CUDA untuk decode lebih cepat

Proyek llama.cpp merilis build b10534, yang memperkenalkan titik sakelar spesifik perangkat keras untuk menyetel crossover antara jalur vektor dan inti tensor selama decoding terkuantisasi pada CUDA.

github llama.cpp · 4 jam lalu · 1 tayangan

Rilis llama.cpp b10538 dengan cache KV yang didekuantisasi untuk batch besar

Proyek llama.cpp telah merilis versi b10538, memperkenalkan optimasi kunci pada backend metal. Pembaruan ini memungkinkan dekuantisasi cache kunci-nilai (KV) secara eksklusif untuk ukuran batch yang besar.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b10532 menambahkan dekuantisasi KV Metal untuk Flash Attention

Proyek llama.cpp merilis versi b10532, memperkenalkan tahap pra-pemrosesan pada backend Metal yang mendekuantisasi cache Key-Value (KV) terkuantisasi ke F16 sebelum mengeksekusi Flash Attention.