github llama.cpp · 1 hari lalu · inference

llama.cpp b11095 menambahkan GATED_DELTA_NET yang dioptimalkan untuk HMX dan mengurangi bacaan DDR

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b11095 memperkenalkan implementasi GATED_DELTA_NET (GDN) baru yang dioptimalkan untuk HMX, bersama dengan berbagai optimisasi untuk kernel Hexagon dan Flash Attention.

Dukungan GDN mencakup pipelineing, penyanggaan HVX, dan operasi vektor untuk meningkatkan kinerja pada chip Qualcomm.
Pembaruan Flash Attention mengurangi bacaan DDR sebesar 20-30% selama generasi token melalui akumulasi dalam register dan peningkatan pipeline DMA.
Rilis ini menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler di seluruh backend CPU, CUDA, ROCm, Vulkan, dan OpenVINO.

Pembaruan ini meningkatkan efisiensi inferensi pada arsitektur perangkat keras tertentu sambil mempertahankan kompatibilitas luas dengan lingkungan penyebaran yang ada.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.

github llama.cpp · 1 jam lalu · 11 tayangan Langsung

llama.cpp b11120 menyembunyikan simbol internal Vulkan untuk memperbaiki penghancuran state

Proyek llama.cpp merilis versi b11120, yang mengatasi bug kritis pada backend Vulkan dengan menyembunyikan simbol internal. Perubahan ini mencegah masalah penghancuran state akibat duplicate-dlopen yang terjadi ketika simbol internal diekspor.

arxiv arXiv cs.AI · 4 jam lalu · 9 tayangan

CliffCompaction mengurangi biaya agen pemrograman sebesar 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, sebuah teknik autocompaction yang dirancang untuk mengurangi biaya bagi agen pemrograman jangka panjang hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi yang dikompresi tetap setia melalui pemotongan alih-alih parafrase.

arxiv arXiv cs.LG · 5 jam lalu · 9 tayangan

CliffCompaction mengurangi biaya agen pemrograman jangka panjang hingga 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, teknik autokompresi yang dirancang untuk agen yang menangani jutaan token, yang memangkas biaya hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi tetap setia melalui pemotongan alih-alih parafrase.

github llama.cpp · 6 jam lalu · 13 tayangan

llama.cpp b11118 memperkenalkan direktori DMA terpetakan langsung untuk penanganan mask FA HVX

Proyek llama.cpp telah merilis build b11118, yang mencakup fitur hex-dma baru yang memperkenalkan direktori DMA terpetakan langsung lebih cocok untuk penanganan mask FA Hexagon Vector eXtended (HVX).