github llama.cpp · 3 hari lalu · inference

llama.cpp b11064 mendukung hc sembarang di dsv4_hc_pre

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11064, yang memodifikasi backend metal untuk mendukung jumlah kepala (hc) sembarang dalam kernel dsv4_hc_pre. Sebelumnya, kernel-kernel ini memiliki hc = 4 yang dikodekan secara tetap, menyebabkan operasi dengan jumlah kepala lain kembali ke eksekusi CPU.

Perubahan ini meneruskan n_hc sebagai konstanta fungsi dan melakukan loop di atasnya di kedua kernel pre dengan muatan langsung.
Kasus test-backend-ops ditambahkan untuk nilai hc 1, 2, 3, 5, 8, dan 65, mencakup skenario dengan gating dan tanpa gating.
Pembaruan ini memungkinkan model seperti Kimi-K3 berjalan secara efisien di GPU dengan mendukung jumlah checkpoint bank dinamis dalam tumpukan residual antar lapisan silang.

Rilis ini mencakup biner untuk macOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, Vulkan, OpenVINO, dan SYCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.

github llama.cpp · 1 jam lalu · 11 tayangan Langsung

llama.cpp b11120 menyembunyikan simbol internal Vulkan untuk memperbaiki penghancuran state

Proyek llama.cpp merilis versi b11120, yang mengatasi bug kritis pada backend Vulkan dengan menyembunyikan simbol internal. Perubahan ini mencegah masalah penghancuran state akibat duplicate-dlopen yang terjadi ketika simbol internal diekspor.

arxiv arXiv cs.AI · 4 jam lalu · 9 tayangan

CliffCompaction mengurangi biaya agen pemrograman sebesar 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, sebuah teknik autocompaction yang dirancang untuk mengurangi biaya bagi agen pemrograman jangka panjang hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi yang dikompresi tetap setia melalui pemotongan alih-alih parafrase.

arxiv arXiv cs.LG · 5 jam lalu · 9 tayangan

CliffCompaction mengurangi biaya agen pemrograman jangka panjang hingga 50% sambil mempertahankan kinerja

Para peneliti memperkenalkan CliffCompaction, teknik autokompresi yang dirancang untuk agen yang menangani jutaan token, yang memangkas biaya hingga 50% dalam konteks terbatas. Metode ini mempertahankan atau meningkatkan kinerja pada Terminal-Bench dan mencapai hasil terbaik di KernelBench dengan menjaga informasi tetap setia melalui pemotongan alih-alih parafrase.

github llama.cpp · 6 jam lalu · 13 tayangan

llama.cpp b11118 memperkenalkan direktori DMA terpetakan langsung untuk penanganan mask FA HVX

Proyek llama.cpp telah merilis build b11118, yang mencakup fitur hex-dma baru yang memperkenalkan direktori DMA terpetakan langsung lebih cocok untuk penanganan mask FA Hexagon Vector eXtended (HVX).