github llama.cpp · 17 jam lalu · inference

llama.cpp b11310 melindungi kernel dequantisasi iq4_nl terhadap baris pendek

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b11310, yang mencakup perbaikan untuk logika dequantisasi IQ4_NL pada backend CUDA. Pembaruan ini mengatasi masalah keamanan memori di mana thread dapat membaca dan menulis melewati akhir baris saat memproses blok yang lebih pendek dari QK_K.

Melindungi kernel dequantisasi baris iq4_nl terhadap baris pendek dengan melewati sub-blok yang dimulai pada atau setelah panjang baris.
Menyediakan binaris pra-dibangun untuk macOS (Apple Silicon dan Intel), Linux, Windows, Android, dan openEuler di seluruh backend CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL, dan Snapdragon.

Perbaikan ini mencegah akses memori di luar batas yang berpotensi terjadi selama inferensi dengan model terkuantisasi IQ4_NL pada perangkat CUDA.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Proposal untuk mengambil memori laten asli LLM alih-alih teks di RAG

Sebuah diskusi di Hugging Face mengusulkan mengganti pengambilan teks tradisional dalam sistem RAG dengan representasi laten asli LLM. Gagasan ini melibatkan pengkodean dokumen ke dalam keadaan internal model selama pengindeksan dan mengambil keadaan tersebut untuk inferensi, berpotensi menghindari biaya memproses ulang teks yang diambil.

github llama.cpp · 17 jam lalu · 4 tayangan

llama.cpp b11309 mengoptimalkan ALLREDUCE Hexagon dengan mode scatter aman

Proyek llama.cpp merilis versi b11309, yang mencakup optimasi kunci untuk backend Hexagon. Pembaruan ini menambahkan dukungan untuk mode scatter aman ke operasi ALLREDUCE, bertujuan untuk meningkatkan kinerja dan stabilitas pada perangkat Qualcomm Snapdragon.

github llama.cpp · 20 jam lalu · 1 tayangan

llama.cpp b11307 mempertahankan urutan batch untuk decoding spekulatif

Proyek llama.cpp merilis build b11307, yang memperbaiki urutan input lapisan untuk mempertahankan urutan batch asli selama decoding spekulatif. Perubahan ini memastikan bahwa urutan token dipertahankan dengan benar untuk embedding NextN yang tidak dimask dan kompatibel dengan pemisahan tensor.

github llama.cpp · 21 jam lalu · 7 tayangan

llama.cpp b11306 memperbaiki abort realokasi grafik dengan mengaktifkan causal_attn

Proyek llama.cpp merilis build b11306, yang menangani crash akibat perubahan bentuk grafik selama decoding. Pembaruan ini mengubah penanganan flag `causal_attn` untuk mencegah kegagalan realokasi di bawah batasan penjadwalan tertentu.

github llama.cpp · 22 jam lalu · 1 tayangan

llama.cpp b11301 memperbaiki overflow integer di ggml/gguf

Proyek llama.cpp telah merilis build b11301, yang mencakup perbaikan untuk masalah overflow integer dalam komponen ggml dan gguf. Pembaruan ini menangani logika validasi untuk mencegah potensi kesalahan saat menangani tensor nol elemen.