github llama.cpp · 1 jam lalu · inference

llama.cpp b10726 mempercepat pemrosesan prompt model IQ batch besar dengan AVX2

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10726, yang memperkenalkan optimasi kinerja signifikan untuk memproses ukuran batch besar dalam model terkuantisasi IQ. Pembaruan utama memanfaatkan instruksi AVX2 untuk mempercepat kuantisasi IQ grid melalui operasi GEMM batch.

Implementasi GEMM batch untuk kuantisasi IQ grid
Vektorisasi dekoding panel IQ dengan ambang batas yang diturunkan untuk percepatan
Pengenalan kernel ggml_gemm_iqp_8x8_q8_K_p4 dan penghapusan buffer gather
Tata letak gather sumber tunggal, bias gerbang, dan interleave tervektorisasi untuk panel IQ
Penambahan dukungan fallback NUMA dan uji batch 10 baris untuk cakupan IQP

Rilis ini menyediakan kemampuan inferensi yang lebih cepat bagi pengguna yang menjalankan model IQ pada perangkat keras yang kompatibel.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp b10723 menyesuaikan jalur kuantisasi OpenCL untuk GPU Intel Xe-LP

Proyek llama.cpp merilis versi b10723, yang mencakup optimasi spesifik untuk OpenCL pada perangkat keras grafis Intel Xe-LP. Pembaruan ini berfokus pada peningkatan kinerja generasi tensor (TG) dan praisi (PP) dengan menyesuaikan kernel kuantisasi.

github llama.cpp · 6 jam lalu · 1 tayangan

llama.cpp b10718 memperluas fusi MOE ke specdec dan multi-token

Proyek llama.cpp merilis versi b10718, yang mencakup pembaruan signifikan pada backend CUDA-nya. Perubahan paling notable adalah perluasan fusi Mixture of Experts (MOE) untuk mendukung decoding spekulatif (specdec), mengatasi keterbatasan sebelumnya di mana fusi MOE glu dan topk-router dibatasi hanya memproses satu token pada satu waktu.

github llama.cpp · 8 jam lalu · 3 tayangan

Rilis llama.cpp b10717 meningkatkan pengambilan informasi memori SYCL

Proyek llama.cpp telah merilis versi b10717, yang mencakup peningkatan spesifik untuk backend SYCL pada GPU Intel. Pembaruan ini meningkatkan kemampuan untuk mengambil informasi memori bebas dengan memanfaatkan API L0 SYCL.

github llama.cpp · 14 jam lalu · 3 tayangan

llama.cpp b10712 menambahkan seleksi radix top-k Vulkan untuk Qwen 3.8 Flash Next

Proyek llama.cpp merilis build b10712, memperkenalkan shader pengurutan radix top-k baru yang dirancang untuk Vulkan untuk mendukung nilai k yang lebih besar atau sama dengan 1024. Pembaruan ini secara khusus menargetkan model Qwen 3.8 Flash Next dan mencakup uji terkait serta fusi top-k qsa.

github llama.cpp · 21 jam lalu · 6 tayangan

llama.cpp b10705 meningkatkan penanganan TENSOR_READ_LAZY

Proyek llama.cpp telah merilis versi b10705, yang mencakup peningkatan pada mekanisme penanganan TENSOR_READ_LAZY. Pembaruan ini memaksa tensor malas di CPU ketika pengaturan malas diaktifkan.